[論文レビュー] Learning Robust and Multilingual Speech Representations

Kazuya Kawakami, Luyu Wang+3 more|arXiv (Cornell University)|Jan 29, 2020

Speech Recognition and Synthesis参考文献 47被引用数 13

ひとこと要約

この論文は、8,000時間にわたる多様でノイズが多く、多言語な音声データを用いて事前学習された対照的予測符号化（CPC）モデルを提案し、頑健で転移可能な音声表現を学習することを目的としている。この手法は、トーン言語や低リソース言語を含む25の発音的に多様な言語において、ドメイン外の頑健性とゼロショット転移性能において顕著な向上を達成しており、標準的なログフィルタバンク特徴量やクリアな英語データでのみ事前学習されたモデルを上回っている。

ABSTRACT

Unsupervised speech representation learning has shown remarkable success at finding representations that correlate with phonetic structures and improve downstream speech recognition performance. However, most research has been focused on evaluating the representations in terms of their ability to improve the performance of speech recognition systems on read English (e.g. Wall Street Journal and LibriSpeech). This evaluation methodology overlooks two important desiderata that speech representations should have: robustness to domain shifts and transferability to other languages. In this paper we learn representations from up to 8000 hours of diverse and noisy speech data and evaluate the representations by looking at their robustness to domain shifts and their ability to improve recognition performance in many languages. We find that our representations confer significant robustness advantages to the resulting recognition systems: we see significant improvements in out-of-domain transfer relative to baseline feature sets and the features likewise provide improvements in 25 phonetically diverse languages including tonal languages and low-resource languages.

研究の動機と目的

• 既存の教師なし事前学習手法の限界に対処し、ドメインシフトに頑健で、言語間で転移可能な音声表現を開発すること。
• 大規模かつ多様な事前学習が、標準的な音声認識ベンチマークにおけるドメイン内性能を超えて一般化を改善するかどうかを評価すること。
• データ不足が主な課題となる低リソース言語およびトーン言語において、教師なし表現の有効性を評価すること。
• 事前学習におけるスケールと多言語多様性が、より不変で汎用性の高い特徴をもたらすことを示すこと。

提案手法

• 生の音声から文脈表現を学ぶために、双方向予測モデリングと密な残差接続を備えた拡張された対照的予測符号化（CPC）フレームワークを採用する。
• 音声は畳み込みエンコーダーを用いて潜在表現に変換され、その後、過去および未来の表現をモデル化する自己回帰的コンテキストネットワークが、対照的予測のために用いられる。
• コンテキスト表現と未来の表現の間の相互情報量を最大化することで、階層的で意味のある音響構造の学習を促進する。
• 事前学習は、低リソース言語やトーン言語を含む、最大8,000時間にわたる多様でノイズの多い多言語音声データを用いて実施される。
• 下流のASRモデルは、LibriSpeechでこれらの表現を微調整し、ドメイン外およびクロスリンガル転移設定で評価される。
• 評価には、ドメイン内WERとドメイン外転移性能の両方が含まれ、ログフィルタバンク特徴量およびLibriSpeech限定の事前学習に対するアブレーションが実施される。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様かつノイズの多い音声データを用いた事前学習が、音声認識におけるドメインシフトへの頑健性を向上させるか？
• RQ2 多言語データから学習された表現が、低リソース言語およびトーン言語にどの程度転移可能か？
• RQ3 8,000時間の多言語データで学習された表現の性能は、標準的な特徴量およびLibriSpeech限定の事前学習と比較して、ドメイン外設定でどの程度優れているか？
• RQ4 大規模な未翻訳音声からの教師なし表現学習が、言語をまたいで音声的構造を暗黙的に発見できるか？

主な発見

• 100%のデータで学習した場合、モデルはLibriSpeechのtest-cleanで13.92%のWER、test-otherで19.10%のWERを達成し、ログフィルタバンク特徴量（19.83%および41.26%）およびCPC-LibriSpeech（15.07%および36.05%）を上回った。
• 学習データの10%で学習した場合、モデルはtest-cleanで13.69%のWER、test-otherで32.81%のWERを達成し、ベースラインのログフィルタバンク（19.65%および41.26%）およびCPC-LibriSpeech（14.96%および36.05%）を顕著に上回った。
• 言語モデルデコードを適用した場合、モデルはtest-cleanで8.86%のWER、test-otherで14.47%のWERを達成し、次善の手法（CPC-LibriSpeech：9.41%および16.06%）を上回った。
• モデルは、アムハラ語、フォンベ語、スワヒリ語、ウロフ語を含む、低リソースおよびトーン言語を含む25の発音的に多様な言語において、強力なゼロショット転移性能を示した。
• モデルはドメインシフトに対して顕著な頑健性を示し、標準的な特徴量およびLibriSpeech限定の事前学習と比較して、ドメイン外転移において一貫した改善を示した。
• 結果から、事前学習におけるスケールと多言語多様性が、ドメインおよび言語をまたいで一般化可能な表現を学習するために不可欠であることが確認された。