[論文レビュー] Towards Unsupervised Speech-to-Text Translation

Yu-An Chung, Wei‐Hung Weng+2 more|arXiv (Cornell University)|Nov 4, 2018

Natural Language Processing Techniques参考文献 9被引用数 5

ひとこと要約

この論文は、並列音声・翻訳対やテキスト・テキスト対を一切必要としない、教師なし音声からテキストへの翻訳フレームワークを提案する。音声とテキスト埋め込みから学習したクロスモodalな二国語辞書を初期化に用い、その後言語モデルとシーケンスノイズ除去オートエンコーダーを用いて出力を改善することで、並列教師データが一切ないにもかかわらず、教師ありエンドツーエンドモデルと同等のBLEUスコアを達成した。

ABSTRACT

We present a framework for building speech-to-text translation (ST) systems using only monolingual speech and text corpora, in other words, speech utterances from a source language and independent text from a target language. As opposed to traditional cascaded systems and end-to-end architectures, our system does not require any labeled data (i.e., transcribed source audio or parallel source and target text corpora) during training, making it especially applicable to language pairs with very few or even zero bilingual resources. The framework initializes the ST system with a cross-modal bilingual dictionary inferred from the monolingual corpora, that maps every source speech segment corresponding to a spoken word to its target text translation. For unseen source speech utterances, the system first performs word-by-word translation on each speech segment in the utterance. The translation is improved by leveraging a language model and a sequence denoising autoencoder to provide prior knowledge about the target language. Experimental results show that our unsupervised system achieves comparable BLEU scores to supervised end-to-end models despite the lack of supervision. We also provide an ablation analysis to examine the utility of each component in our system.

研究の動機と目的

• 並列学習データを一切必要としない音声からテキストへの翻訳システムの開発を目的とする。低リソース言語やゼロリソース言語への応用を可能にする。
• 低リソースSTにおけるデータ不足問題を、単一言語の音声およびテキストコーパスのみを活用することで克服することを目的とする。
• 文脈を考慮した言語モデルとシーケンスノイズ除去オートエンコーダーの統合により、教師なし翻訳の品質を向上させることを目的とする。
• 教師なしSTが、教師ありエンドツーエンドモデルと同等の性能を達成できることを検証することを目的とする。

提案手法

• 教師なし音声セグメンテーションを用いて、単一言語の音声から単語に類似した音声セグメントを抽出する。
• Speech2Vecを用いて、これらのセグメントから意味的に意味のある高次元の音声埋め込みを学習する。
• 単一言語のテキストに対してWord2Vecを訓練し、ターゲット言語の単語埋め込みを学習する。
• 教師なし二国語辞書インダクション（例：VecMap、MUSE）を用いて、並列データなしで音声とテキストの埋め込み空間を対合する。
• 対合された埋め込み空間内で最近傍探索を用いて単語ごとの翻訳を実行する。
• 文脈に応じた語の選択のための事前学習済み言語モデルと、局所的な並べ替えや複数対応語の修正のためのシーケンスノイズ除去オートエンコーダーを統合することで、翻訳品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 音声とテキストの間でいかなる並列データも使用せずに、音声からテキストへの翻訳を効果的に学習できるか？
• RQ2 単一言語コーパスから学習したクロスモダルドイクショナリは、教師なしSTの初期化にどの程度有効か？
• RQ3 教師なし環境下で、言語モデルとシーケンスノイズ除去オートエンコーダーは翻訳品質をどの程度向上させられるか？
• RQ4 低リソース環境下で、教師なしシステムの性能は教師ありエンドツーエンドモデルと比べてどの程度か？

主な発見

• 並列学習データが一切ないにもかかわらず、教師ありエンドツーエンドモデルと同等のBLEUスコアを達成した。
• VecMapはMUSEよりも教師なし二国語辞書インダクションで優れた性能を示し、多様な設定においてより安定した性能を発揮した。
• 大規模言語モデル（例：Wikipediaで事前学習されたもの）を統合すると、小規模またはドメイン特化した言語モデルよりも翻訳品質が顕著に向上した。
• シーケンスノイズ除去オートエンコーダーは構文的誤りや局所的な並べ替えを効果的に是正し、性能をさらに向上させ、教師ありベースラインに匹敵する水準にまで到達した。
• 音声とテキストコーパスが独立して収集された場合（アライメントなし）でも、フレームワークは強力な性能を維持し、アライメント付き設定と比較してわずかな低下にとどまった。