[論文レビュー] Learning audio representations via phase prediction

Félix de Chaumont Quitry, Marco Tagliasacchi+1 more|arXiv (Cornell University)|Oct 25, 2019

Music and Audio Processing参考文献 28被引用数 10

ひとこと要約

本論文は、音声のマグニチュードスペクトログラムから瞬間周波数（位相の時間微分）を予測する畳み込みエンコーダ・デコーダアーキテクチャを用いた自己教師付き音声表現学習手法を提案する。この手法は多様な下流タスクで競争力ある性能を達成し、グリフィス・リム波形再構成の精度を向上させるためにより良い位相初期化を提供することで、位相予測が汎用的で転送可能な表現をもたらすことを示している。

ABSTRACT

We learn audio representations by solving a novel self-supervised learning task, which consists of predicting the phase of the short-time Fourier transform from its magnitude. A convolutional encoder is used to map the magnitude spectrum of the input waveform to a lower dimensional embedding. A convolutional decoder is then used to predict the instantaneous frequency (i.e., the temporal rate of change of the phase) from such embedding. To evaluate the quality of the learned representations, we evaluate how they transfer to a wide variety of downstream audio tasks. Our experiments reveal that the phase prediction task leads to representations that generalize across different tasks, partially bridging the gap with fully-supervised models. In addition, we show that the predicted phase can be used as initialization of the Griffin-Lim algorithm, thus reducing the number of iterations needed to reconstruct the waveform in the time domain.

研究の動機と目的

• ラベルなしデータを必要としない、音声表現学習のための新しい自己教師付き学習タスクの開発。
• マグニチュードスペクトログラムから瞬間周波数を予測することで、汎用的で転送可能な表現が得られるかどうかの検証。
• 予測された位相がグリフィス・リム波形再構成の初期化としてどの程度有効であるかの評価。
• 他の自己教師付きアプローチと比較して、下流タスクにおける転移性能の観点から提案手法の有効性を検証。

提案手法

• 畳み込みエンコーダが音声波形のマグニチュードスペクトログラムを低次元埋め込みに変換する。
• 畳み込みデコーダが埋め込みから瞬間周波数（位相の時間微分）を予測する。
• 予測された瞬間周波数に対する再構成損失を用いて、モデルをエンドツーエンドで訓練する。
• 予測された位相は、時間にわたる予測された瞬間周波数の積分によって得られる。
• 位相予測損失は、スペクトログラムのマグニチュードを用いて重み付けされ、エネルギーの高い領域を優先する。
• 多様な下流音声タスクにおける線形分類を用いて、学習された表現の評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 マグニチュードスペクトログラムから瞬間周波数を予測することで、自己教師付きの方法で有効な音声表現を得られるか？
• RQ2 提案手法の位相予測性能は、複数の下流タスクにおいて他の自己教師付き音声表現学習手法と比較してどの程度か？
• RQ3 予測された位相は、波形再構成のためのグリフィス・リムアルゴリズムの収束をどの程度改善できるか？
• RQ4 位相予測による学習表現は、オートエナコーダーまたは他の自己教師付きタスクからの表現と補完的であるか？

主な発見

• 提案された位相予測手法は、他の自己教師付き手法と同等の性能を達成しており、特にNSynthPitchおよびMUSANタスクで優れた結果を示している。
• LibriSpeechおよびNSynthPitchタスクでは、Audio2Vecおよび他のベースラインと比較して性能が上回るか、同等の結果を達成している。
• 予測された位相はグリフィス・リムアルゴリズムの初期化として優れた性能を発揮し、スペクトル収束に必要な反復回数を削減している（図2参照）。
• オートエナコーダーによるマグニチュード再構成と組み合わせたハイブリッドモデルは、LibriSpeech、Bird Audio Detection、NSynthInstrumentなどの複数のタスクで性能を向上させている。
• 位相予測損失の重み付け戦略にかかわらず、本手法は安定しており、マグニチュードに基づく重み付けが一部のタスク（例：Speech Commands や Spoken Language Identification）でわずかに優れた結果をもたらしている。
• 位相予測によって学習された表現は、他の自己教師付きタスクからの表現と補完的であることが示され、 Ensemble メソッドを用いることでさらなる汎用性向上の可能性が示唆されている。