[論文レビュー] Learning Shared Semantic Space for Speech-to-Text Translation

Chi Han, Mingxuan Wang+2 more|arXiv (Cornell University)|May 7, 2021

Natural Language Processing Techniques参考文献 57被引用数 7

ひとこと要約

Chimeraは、モダリティに依存しない埋め込み空間を介して音声とテキスト表現を統合する共有意味記憶ネットワークを提案する。これにより、エンドツーエンドの音声対訳翻訳が、大量のテキスト機械翻訳（MT）データを活用できる。音声およびテキスト特徴量を統一された意味的空間に投影し、二モダリティ対照的損失を用いることで、ChimeraはMuST-C EN-DEで27.1 BLEUという新たなSOTAを達成し、SOTAを+1.9 BLEU改善した。また、異なるモダリティ間での有効な知識移譲が実証された。

ABSTRACT

Having numerous potential applications and great impact, end-to-end speech translation (ST) has long been treated as an independent task, failing to fully draw strength from the rapid advances of its sibling - text machine translation (MT). With text and audio inputs represented differently, the modality gap has rendered MT data and its end-to-end models incompatible with their ST counterparts. In observation of this obstacle, we propose to bridge this representation gap with Chimera. By projecting audio and text features to a common semantic representation, Chimera unifies MT and ST tasks and boosts the performance on ST benchmarks, MuST-C and Augmented Librispeech, to a new state-of-the-art. Specifically, Chimera obtains 27.1 BLEU on MuST-C EN-DE, improving the SOTA by a +1.9 BLEU margin. Further experimental analyses demonstrate that the shared semantic space indeed conveys common knowledge between these two tasks and thus paves a new way for augmenting training resources across modalities. Code, data, and resources are available at https://github.com/Glaciohound/Chimera-ST.

研究の動機と目的

• エンドツーエンド音声翻訳（ST）における音声とテキストのモダリティギャップを解消し、パフォーマンスの制限を軽減するとともに、大規模なテキスト機械翻訳（MT）データの活用を可能にすること。
• モダリティに依存しない言語的意味を捉える共有意味表現を学習することで、STとMTのワークフローを統合すること。
• 統一されたトレーニングフレームワークを通じて、高リソースMTデータからの知識移譲を低リソースSTタスクに可能にすること。
• 共有意味空間が、モダリティを跨いで意味的・構文的パターン（例：疑問文の形成、動詞の種別）を的確に捉えているかどうかを検証すること。

提案手法

• Chimeraは、音声およびテキスト特徴量を共通のモダリティに依存しない埋め込み空間に投影する共有意味記憶モジュールを採用する。
• 音声およびテキスト入力からの意味記憶を整列させるために、二モダリティ対照的学習目的を導入し、意味的に同等のコンテンツに対して類似した表現を促進する。
• 入力シーケンスからの主要な意味的カテゴリーを抽出するために、複数のヘッドを備えたTransformerベースアーキテクチャを用いる。
• 事前学習段階では、大規模なMTコーパス（例：OpenSubtitles）を用いて共有意味空間を初期化し、その後、音声-テキスト並列データでファインチューニングする。
• ペアドされた音声およびテキストサンプル間で対照的損失を適用し、意味的に同等の入力が共有空間内で近接にマップされるように保証する。
• STおよびMTの目的関数を統合してトレーニング可能であり、タスク間での知識共有を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド音声翻訳における音声とテキストの表現ギャップを、共有意味空間が効果的に埋め合わせることができるか？
• RQ2 大規模なテキスト機械翻訳データで事前学習することで、統一された意味表現を組み合わせた場合、STパフォーマンスが顕著に向上するか？
• RQ3 学習された共有意味空間が、疑問文の形成や未来時制、自動詞など、意味的・構文的パターンを反映するように構造化されているか？
• RQ4 二モダリティ対照的トレーニングタスクが、音声とテキスト表現間の整列をどの程度向上させるか？
• RQ5 統一されたモデルが、複数の言語方向における音声翻訳ベンチマークでSOTAパフォーマンスを達成できるか？

主な発見

• Chimeraは、MuST-C EN-DE翻訳方向で27.1 BLEUという新たなSOTAスコアを達成し、前回のSOTAを+1.9 BLEU上回った。
• 事前学習段階でより大きなMTコーパスを使用するほど、性能が顕著に向上し、高リソースMTデータがSTパフォーマンス向上に寄与することが確認された。
• 主成分分析（PCA）による可視化では、音声およびテキスト表現が同じ意味記憶領域に近接に投影されていることが確認され、モダリティギャップの埋め合わせが有効に実現されていることが裏付けられた。
• 共有意味空間には、疑問文、未来時制、自動詞など、意味的・構文的パターンに沿った構造的クラスタリングが見られ、意味的表現学習が有意義に行われていることが示された。
• モダリティ間アテンションの可視化から、音声の停頓とテキストの句読点（例：ピリオド）が一致しており、位置的ではなく意味的アテンションが働いていることが示唆された。
• アブレーションスタディにより、二モダリティ対照的損失および共有意味記憶モジュールがSTパフォーマンス向上に有効であることが確認された。