[논문 리뷰] Learning audio representations via phase prediction

Félix de Chaumont Quitry, Marco Tagliasacchi외 1명|arXiv (Cornell University)|2019. 10. 25.

Music and Audio Processing참고 문헌 28인용 수 10

한 줄 요약

이 논문은 음성의 크기 스펙트로그램에서 시간 도함수인 순순간 주파수(즉, 위상의 시간 도함수)를 예측함으로써 자기지도 학습 기반 음성 표현 학습 방법을 제안한다. 이 방법은 다양한 후행 작업에서 경쟁적인 성능을 보이며, Griffin-Lim 음성 웨이브폼 복원 과정에서 더 나은 위상 초기화를 제공함으로써 복원 성능을 크게 향상시킨다. 이는 위상 예측이 일반화되고 이식 가능한 표현을 생성함을 보여준다.

ABSTRACT

We learn audio representations by solving a novel self-supervised learning task, which consists of predicting the phase of the short-time Fourier transform from its magnitude. A convolutional encoder is used to map the magnitude spectrum of the input waveform to a lower dimensional embedding. A convolutional decoder is then used to predict the instantaneous frequency (i.e., the temporal rate of change of the phase) from such embedding. To evaluate the quality of the learned representations, we evaluate how they transfer to a wide variety of downstream audio tasks. Our experiments reveal that the phase prediction task leads to representations that generalize across different tasks, partially bridging the gap with fully-supervised models. In addition, we show that the predicted phase can be used as initialization of the Griffin-Lim algorithm, thus reducing the number of iterations needed to reconstruct the waveform in the time domain.

연구 동기 및 목표

• 라벨이 없는 데이터를 요구하지 않는 새로운 자기지도 학습 작업을 개발하는 것.
• 크기 스펙트로그램에서 순순간 주파수를 예측하는 것이 일반화되고 이식 가능한 표현을 생성하는지 조사하는 것.
• 예측된 위상의 초기화로서 Griffin-Lim 음성 웨이브폼 복원의 유용성을 평가하는 것.
• 다양한 후행 작업 성능 측면에서 제안된 위상 예측 방법을 기존 자기지도 학습 접근법과 비교하는 것.

제안 방법

• 컨볼루션 인코더가 음성 웨이브폼의 크기 스펙트로그램을 낮은 차원의 임베딩으로 매핑한다.
• 컨볼루션 디코더가 임베딩에서 순순간 주파수(즉, 위상의 시간 도함수)를 예측한다.
• 예측된 순순간 주파수에 대한 복원 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.
• 예측된 위상은 시간에 따라 예측된 순순간 주파수를 통합함으로써 확보된다.
• 위상 예측 손실은 스펙트로그램의 크기를 사용해 가중치를 조정하여 에너지가 높은 영역을 우선시한다.
• 다양한 후행 음성 작업에서 선형 분류를 통한 학습된 표현의 평가

실험 결과

연구 질문

• RQ1 크기 스펙트로그램에서 순순간 주파수를 예측하는 것이 자기지도 방식으로 효과적인 음성 표현을 생성할 수 있는가?
• RQ2 제안된 위상 예측 방법의 성능는 여러 후행 작업에서 다른 자기지도 음성 표현 학습 방법과 비교해 어떻게 되는가?
• RQ3 예측된 위상은 음성 웨이브폼 복원을 위한 Griffin-Lim 알고리즘 수렴을 어느 정도 향상시킬 수 있는가?
• RQ4 위상 예측을 통한 표현은 오토인코더나 다른 자기지도 학습 작업의 표현과 상호보완적인가?

주요 결과

• 제안된 위상 예측 방법은 다른 자기지도 학습 방법과 유사한 성능을 보이며, 특히 NSynthPitch 및 MUSAN 작업에서 뛰어난 성능을 기록했다.
• LibriSpeech 및 NSynthPitch 작업에서, 이 방법은 Audio2Vec 및 기타 기준 모델을 능가하거나 동등한 성능을 보였다.
• 예측된 위상은 Griffin-Lim 알고리즘에 더 우수한 초기화를 제공하여 스펙트럼 수렴에 필요한 반복 횟수를 감소시켰으며, 그 결과는 그림 2에 나타나 있다.
• 오토인코더를 통한 크기 복원과 위상 예측을 조합한 하이브리드 모델은 LibriSpeech, Bird Audio Detection, NSynthInstrument 등의 여러 작업에서 성능 향상을 보였다.
• 위상 예측 손실에 대한 다양한 가중치 전략에 대해 안정적인 성능을 보였으며, 특히 Speech Commands 및 Spoken Language Identification와 같은 일부 작업에서는 크기 기반 가중치 전략이 略적으로 더 좋은 결과를 얻었다.
• 위상 예측을 통한 표현은 다른 자기지도 학습 작업의 표현과 상호보완적이며, 이는 앙상블 방법을 통해 일반화 성능을 추가로 향상시킬 잠재력을 시사한다.