[논문 리뷰] Does Phase Matter For Monaural Source Separation?

Mohit L. Dubey, Garrett T. Kenyon외 2명|arXiv (Cornell University)|2017. 11. 02.

Speech and Audio Processing참고 문헌 12인용 수 3

한 줄 요약

이 논문은 신경적으로 타당한 희박 생성 모델을 사용하여 스펙트럼 표현에서 위상 정보를 유지하는 것이 단일 귀 소스 분리 성능을 향상시키는지 조사한다. 단일 귀 소스 분리 성능을 향상시키기 위해 위상 풍부한 및 위상 손실된 스펙트로그램에 대해 컨volutional 로컬리 경쟁 알고리즘(LCA)을 훈련시킴으로써, 저자들은 위상 유지가 아티팩트를 감소시키고 최고 성능(GSIR = 19.46)을 달성함으로써 위상 정보의 핵심적 역할을 입증한다. 이는 위상 정보 유지가 고음질 오디오 분리에 필수적임을 보여준다.

ABSTRACT

The "cocktail party" problem of fully separating multiple sources from a single channel audio waveform remains unsolved. Current biological understanding of neural encoding suggests that phase information is preserved and utilized at every stage of the auditory pathway. However, current computational approaches primarily discard phase information in order to mask amplitude spectrograms of sound. In this paper, we seek to address whether preserving phase information in spectral representations of sound provides better results in monaural separation of vocals from a musical track by using a neurally plausible sparse generative model. Our results demonstrate that preserving phase information reduces artifacts in the separated tracks, as quantified by the signal to artifact ratio (GSAR). Furthermore, our proposed method achieves state-of-the-art performance for source separation, as quantified by a mean signal to interference ratio (GSIR) of 19.46.

연구 동기 및 목표

• 스펙트럼 표현에서 위상 정보가 단일 귀 소스 분리 성능을 향상시키는지 조사하기.
• 신경 기반 희박 코딩 모델에서 위상의 역할을 평가하기.
• 생성 희박 모델을 사용하여 음악에서 보컬을 분리할 때 위상 유지와 위상 손실 접근 방식을 비교하기.
• 생물학적으로 타당한 모델을 유지하면서도 최고 성능의 단일 귀 소스 분리 성능를 달성하기.

제안 방법

• MIR-1K 데이터셋의 2초 길이 오디오 클립을 사용하여 위상 풍부한 및 위상 손실된 스펙트로그램에 대해 컨volutional 로컬리 경쟁 알고리즘(LCA)을 훈련시켰다.
• 희박성과 신경적 타당성을 강제하기 위해 막막 잠재변수를 사용한 소프트 스위치 활성화 함수를 사용했다.
• 기초 벡터를 최적화하기 위해 국소 헤브시안 규칙과 운동량을 적용한 반복적 확률적 경사 하강법을 사용했다.
• 노이즈 제거 성능을 통해 희박성 임계값을 최적화하였으며, 이로 인해 0.625가 최적임을 발견하여 약 2.8%의 평균 희박성 수준을 달성했다.
• 학습 및 테스트 세트에 대해 희박 코드를 생성한 후, 이 코드를 기반으로 선형 분류기를 훈련시켜 보컬과 비보컬을 분리했다.
• 분리된 스템에 대해 두 번째 노이즈 제거 프로세스를 적용하여 결과를 정제하였으며, 이는 최고의 성능을 달성하는 데 기여했다.

실험 결과

연구 질문

• RQ1 스펙트럼 표현에서 위상 정보를 유지하면 단일 귀 소스 분리에서 아티팩트가 줄어들까?
• RQ2 신경적으로 타당한 희박 생성 모델이 음악에서 보컬 분리에서 최고 성능을 달성할 수 있을까?
• RQ3 위상 유지가 망각 소스 분리에서 신호 대 간섭비(SIR)와 신호 대 아티팩트 비(SAR)에 어떤 영향을 미치는가?
• RQ4 희박 코딩 프레임워크에서 정확한 스펙트로템포럴 수용체 영역을 학습하기 위해 위상 정보가 필수적인가?

주요 결과

• 위상 정보 유지가 아티팩트를 크게 감소시킴을 확인하였으며, 이는 노이즈 제거 결과에서 GSAR = 2.88을 기록한 반면, 위상 손실 모델은 -9.72를 기록한 것으로 나타났다.
• 위상 유지 모델은 노이즈 제거 조건에서 평균 GSIR 19.46을 달성하여 단일 귀 소스 분리 분야에서 최고 성능을 기록했다.
• 비노이즈 제거 조건에서 위상 모델은 GSIR 값이 약간 낮은 12.12였지만, 위상 손실 대비 일관되게 더 나은 아티팩트 억제 성능를 보였다.
• 노이즈 제거를 거친 위상 기반 분리 결과는 GNSDR 5.21을 기록하여 전체 소스 품질 향상과 왜곡 감소를 확인했다.
• 최적의 희박성 임계값은 0.625로 확인되었으며, 이는 데이터셋 전체 평균 희박성 약 2.8%를 제공했다.
• 시각적 분석 결과, 위상 유지 재구성가 스펙트럼 구조를 더 잘 유지했고 고주파 영역에서 부적절한 에너지가 발생하지 않았다.