[論文レビュー] One Shot Learning for Speech Separation

Yuan-Kuei Wu, Kuan-Po Huang+2 more|arXiv (Cornell University)|Nov 20, 2020

Speech Recognition and Synthesis参考文献 26被引用数 4

ひとこと要約

本論文は、MAMLおよびANILを用いたメタラーニングアプローチを提案し、1つの混合音声サンプルのみで未学習の話者やノイジィな環境に対しても高速に適応できるようにする。分離器をタスク固有のモジュールとし、エンコーダー/デコーダーを特徴再利用部として扱うことで、マルチタスク学習ベースラインに比べ優れた汎化性能を達成し、特にゼロショットおよびノイジィな状況下で顕著である。

ABSTRACT

Despite the recent success of speech separation models, they fail to separate sources properly while facing different sets of people or noisy environments. To tackle this problem, we proposed to apply meta-learning to the speech separation task. We aimed to find a meta-initialization model, which can quickly adapt to new speakers by seeing only one mixture generated by those people. In this paper, we use model-agnostic meta-learning(MAML) algorithm and almost no inner loop(ANIL) algorithm in Conv-TasNet to achieve this goal. The experiment results show that our model can adapt not only to a new set of speakers but also noisy environments. Furthermore, we found out that the encoder and decoder serve as the feature-reuse layers, while the separator is the task-specific module.

研究の動機と目的

• 新しい話者やノイジィな環境に直面した際の音声分離モデルの汎化失敗を解消すること。
• 1つの混合音声サンプルのみで、未学習の話者コンbinations や音響条件に迅速に適応できること。
• メタラーニングがマルチタスク学習を上回るゼロショット汎化を音声分離で実現できるかどうかを検証すること。
• メタラーニングベースの適応において、異なるネットワーク部品（エンコーダー、分離器、デコーダー）が果たす役割を分析すること。

提案手法

• Conv-TasNetを1ショット音声分離に適応させるために、モデルに依存しないメタラーニング（MAML）およびほぼ内ループなし（ANIL）を適用した。
• 損失関数として、発話レベルのパーミュテーション不変訓練（uPIT）を用いたスケール不変信号対ノイズ比（SI-SNR）を採用した。
• エンコーダーとデコーダーを特徴再利用モジュールとし、分離器をタスク固有のモジュールとした。
• WSJ0-2mix-metaからの多様な話者混合音声セットでメタラーナーを訓練し、その後、Libri2mixおよびVCTKなど未学習のデータセットで評価した。
• 新しい話者セットやノイジィな環境からの1つの混合音声で、メタ初期化済みモデルをファインチューニングすることで高速適応を実現した。
• 異なるモデル部品に対するアブレーションファインチューニング戦略と比較して、メタラーニングとマルチタスク学習を検証した。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、1つの例でのみ学習した場合に、未学習の話者コンbinations に対しても音声分離モデルの汎化を可能にするか？
• RQ2 ノイジィな環境への適応において、メタラーニングはマルチタスク学習に比べて優れているか？
• RQ3 Conv-TasNetアーキテクチャのどの部品（エンコーダー、分離器、デコーダー）が高速適応において最も重要な役割を果たすか？
• RQ4 メタラーニングベースの音声分離において、分離器のみをファインチューニングするか、全モデルをファインチューニングするか、どちらがより高い性能を発揮するか？

主な発見

• MAMLベースのモデルは、すべてのテストセットでマルチタスク学習ベースラインを上回り、ノイズありおよびノイズなしの両状況下でLibri2mixおよびVCTKデータセットで最高のSI-SNRiスコアを達成した。
• ANIL手法は、分離器のみをファインチューニングする際、標準的なメタラーニングよりも優れた性能を示し、分離器が主にタスク固有のモジュールであることを示唆した。
• 分離器のみをファインチューニング（a_s）した場合、全モデルやオートエナコーダーをファインチューニングするよりも優れた結果が得られ、分離器のタスク固有の役割を裏付けた。
• 前トレーニングのエポック数を半分にしたモデルでさえ、完全なマルチタスクファインチューニングを上回ったことから、効果的なメタラーニングには完全な前トレーニングが必ずしも必要でないことが示された。
• エンコーダーとデコーダーは特徴再利用層として機能することが判明したが、分離器はコアなタスク固有のコンponentとして特定された。
• メタラーニングされたモデルは強力なゼロショット汎化を達成し、未学習の話者やノイジィな状況に対しても頑健であることが示された。