[論文レビュー] Unsupervised Multi-modal Neural Machine Translation

Yuanhang Su, Kai Fan+3 more|arXiv (Cornell University)|Nov 28, 2018

Natural Language Processing Techniques参考文献 30被引用数 14

ひとこと要約

本論文は、視覚的特徴に条件づけられたサイクル整合性を強制することで、画像・テキストのアライメントを活用し、非教師ありニューラル機械翻訳（UNMT）の性能を向上させる非教師ありマルチモーダルニューラル機械翻訳（UMNMT）フレームワークを提案する。自己符号化およびサイクル整合性損失を用いて単モーダルおよびマルチモーダルデータの両方で訓練することで、Multi30Kデータセットにおいて、推論時に画像が利用不可であっても、BLEUスコアが最大4.33ポイントも向上し、視覚的文脈による意味の曇りの解消と高い頑健性を示した。

ABSTRACT

Unsupervised neural machine translation (UNMT) has recently achieved remarkable results with only large monolingual corpora in each language. However, the uncertainty of associating target with source sentences makes UNMT theoretically an ill-posed problem. This work investigates the possibility of utilizing images for disambiguation to improve the performance of UNMT. Our assumption is intuitively based on the invariant property of image, i.e., the description of the same visual content by different languages should be approximately similar. We propose an unsupervised multi-modal machine translation (UMNMT) framework based on the language translation cycle consistency loss conditional on the image, targeting to learn the bidirectional multi-modal translation simultaneously. Through an alternate training between multi-modal and uni-modal, our inference model can translate with or without the image. On the widely used Multi30K dataset, the experimental results of our approach are significantly better than those of the text-only UNMT on the 2016 test dataset.

研究の動機と目的

• 非教師ありニューラル機械翻訳（UNMT）の不適切に定式化された性質、特に源言語と標的言語間の曖昧な文アライメントに起因する問題に対処すること。
• 視覚的信号が言語間の共通の意味的ピボットとして機能することで、UNMTにおける不確実性を低減できるかどうかを調査すること。
• 訓練および推論時にテキストのみと画像付加翻訳の両方をサポートする統合フレームワークの開発。
• 画像を訓練時の補助的監視として活用することで、テスト時に画像が利用不可であっても一般化性能と収束性を向上させること。

提案手法

• 双方向翻訳を実現するため、2つのシーケンス・ツー・シーケンスのトランスフォーマーに基づくエンコーダーとデコーダーに加え、共通の画像特徴抽出器を採用する。
• 画像特徴に条件づけられたサイクル整合性損失を導入し、元のソース文、翻訳文、およびバックトランスレーション文の間の整合性を強制する。
• 符号化された表現から入力文を再構築するための自己符号化損失を適用し、特徴学習を強化する。
• 単モーダル（テキストのみ）とマルチモーダル（テキスト＋画像）データの両方を交互に訓練することで、混合されたデータ形式を柔軟に処理できる。
• トランスフォーマー構造内でのテキストと視覚的特徴の間のクロスモーダル関係をモデル化するための新規な共同アテンション機構を設計する。
• アライメントと相互情報量の最適化のため、逐次的交差エントロピー（SCE）およびKLダイバージェンスに基づく損失を訓練プロセスで使用する。

実験結果

リサーチクエスチョン

• RQ1 画像は、文アライメントの不確実性を低減することで、非教師ありニューラル機械翻訳の性能向上に役立つ意味の曇りの解消信号として機能できるか？
• RQ2 訓練時に視覚的特徴を組み込むことで、推論時に画像が利用不可であっても、一般化性能が向上するか？
• RQ3 標準ベンチマーク上で、テキストのみの非教師ありNMTと比較して、マルチモーダル監視が翻訳品質にどの程度向上効果をもたらすか？
• RQ4 画像に条件づけられた本研究のサイクル整合性損失は、意味的な多言語表現の学習をどのように向上させるか？
• RQ5 アーキテクチャの特化なしに、訓練および推論時に単モーダルおよびマルチモーダル入力を効果的に処理できる統合モデルは可能か？

主な発見

• 画像とテキストの両方を入力として使用した場合、UMNMTモデルはEn→Fr翻訳で16.10のBLEUスコアを達成し、テキストのみのベースライン（13.26）と比較して2.84ポイント向上した。
• En→Fr方向では、推論時に画像を使用しなくても、画像を用いて訓練したモデルがテキストのみのモデルを4.33 BLEUポイント上回り、最適化と一般化の向上を示した。
• 全Multi30Kデータセットで訓練したモデルは、推論時に画像を使用した場合、テキストのみのモデル（1.19）と比較してEn→Fr方向で5.52 BLEUポイントの上昇を示し、一貫した向上を確認した。
• 視覚的アテンションのヒートマップから、モデルが「オレンジ」「帽子」「Tシャツ」などの関連画像領域に適切に注目していることが確認され、言語的トークンと整合的であることが示された。
• テキストアテンション行列は、より深いトランスフォーマー層を経るごとに徐々に対角的になる傾向を示し、言語間で共通する文法的構造のおかげで注目が集中していることが示された。
• 未知のデータに対してもモデルは強力な性能を維持し、De→En方向で画像を使用した場合に3.12 BLEUポイントの向上が見られ、言語ペアをまたいで一貫した向上効果を示した。