[論文レビュー] Globetrotter: Unsupervised Multilingual Translation from Visual Alignment

Dídac Surís Coll-Vinent, Dave Epstein+1 more|arXiv (Cornell University)|May 4, 2021

Multimodal Machine Learning Applications参考文献 49被引用数 8

ひとこと要約

Globetrotterは、画像を通じて複数の言語を画像を介して結びつける視覚的アライメントを用いて、1段階のトレーニングで複数言語の表現を同時に学習する教師なし多言語翻訳フレームワークを提案する。言語と画像のクロスモーダルアライメントを活用することで、52言語で教師なし単語レベルおよび文レベル翻訳において最先端のパフォーマンスを達成する。

ABSTRACT

Machine translation in a multi-language scenario requires large-scale parallel corpora for every language pair. Unsupervised translation is challenging because there is no explicit connection between languages, and the existing methods have to rely on topological properties of the language representations. We introduce a framework that leverages visual similarity to align multiple languages, using images as the bridge between them. We estimate the cross-modal alignment between language and images, and use this estimate to guide the learning of cross-lingual representations. Our language representations are trained jointly in one model with a single stage. Experiments with fifty-two languages show that our method outperforms prior work on unsupervised word-level and sentence-level translation using retrieval.

研究の動機と目的

• 大規模な並列コーパスが存在しない状況での教師なし多言語翻訳の課題に対処すること。
• 教師なし設定において明示的な言語間接続が欠如している問題を克服すること。
• 視覚的類似性を跨言語ブリッジとして活用し、表現アライメントを向上させること。
• 複数言語を一度のステージで統合されたモデルとして学習し、複雑な複数段階トレーニングを回避すること。
• 画像ベースの監視を用いて、多様な言語対でゼロショット翻訳を可能にすること。

提案手法

• 画像を共有の意味的空間として用い、多言語文表現をアライメントすること。
• 対照的学習を用いて言語埋め込みと視覚的特徴の間のクロスモーダルアライメントを推定すること。
• 言語および視覚的アライメントの両目的を最適化する1段階の統合モデルを訓練すること。
• 視覚的ブリッジを活用し、並列文が存在しない状況でも跨言語表現の学習を支援すること。
• 語彙レベルおよび文レベルの翻訳品質を測定するためにリtrievalベースの評価を適用すること。
• テキストおよび画像モalityの両方のための共有エンコーダーを用い、意味的一致性を保証すること。

実験結果

リサーチクエスチョン

• RQ1 視覚的アライメントは、教師なし多言語表現学習のための効果的なブリッジとして機能するか？
• RQ2 1段階の統合学習フレームワークは、52言語でゼロショット翻訳にどの程度一般化できるか？
• RQ3 純粋に単語レベルのトポロジーに依存する手法と比較して、視覚的監視は跨言語アライメントを向上させるか？
• RQ4 並列データが存在しない状況でも、語彙レベルおよび文レベルのリtrievalタスクで競争力のあるパフォーマンスを達成できるか？
• RQ5 並列監視が全くない状況でも、多数の言語にスケーリング可能か？

主な発見

• Globetrotterは、52言語で語彙レベルおよび文レベルの翻訳リtrievalにおいて、先行する教師なし手法を上回った。
• 視覚的アライメントの活用により、単語のトポロジーにのみ依存する手法と比較して、跨言語表現の質が顕著に向上した。
• 並列単語レベルデータや複雑なカリキュラム学習を必要としない1段階の統合学習フレームワークが、強力なパフォーマンスを達成した。
• モデルはゼロショット言語対に効果的に一般化でき、低リソース環境でも頑健であることが示された。
• 画像ベースの監視により、並列文ペアが存在しない状況でも意味的な跨言語アライメントが可能になった。
• リtrievalベンチマークで最先端の結果を達成し、多言語表現学習における視覚的ブリッジの有効性を確認した。