[論文レビュー] UMONS Submission for WMT18 Multimodal Translation Task

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Oct 15, 2018

Multimodal Machine Learning Applications参考文献 12被引用数 11

ひとこと要約

本論文は、ニューラル画像キャプションにインspiredされた、視覚的特徴をゲート付きtanhボトルネックとマルチモーダルプロジェクションを介して統合する、新しいマルチモーダルニューラル機械翻訳アーキテクチャであるDeepGRUを提示する。WMT18の英語→ドイツ語および英語→フランス語翻訳タスクにおいて、ベースラインを+2.10および+1.98 METEORポイント上回り、最先端のMETEORスコアを達成した。

ABSTRACT

This paper describes the UMONS solution for the Multimodal Machine Translation Task presented at the third conference on machine translation (WMT18). We explore a novel architecture, called deepGRU, based on recent findings in the related task of Neural Image Captioning (NIC). The models presented in the following sections lead to the best METEOR translation score for both constrained (English, image) -> German and (English, image) -> French sub-tasks.

研究の動機と目的

• 既存のアテンションベースのモデルよりも、視覚的特徴をより効果的に統合することで、マルチモーダルニューラル機械翻訳を改善すること。
• ニューラル画像キャプションから得られるアーキテクチャ的革新（例：ゲート付きtanhボトルネック、マルチモーダルプロジェクション）が、マルチモーダル環境下での翻訳性能を向上させることを検証すること。
• 過学習を回避するため、限られた学習データにおいても軽量で効率的かつ高速に学習可能なモデルを開発すること。
• 特にMETEORスコアにおいて優れた性能を発揮することを目的として、WMT18のマルチモーダル翻訳共有タスクで最先端の結果を達成すること。

提案手法

• マルチモーダル統合のためのボトルネック関数として、条件付きGRUデコーダーと第3のGRUを組み合わせた、新しいアーキテクチャであるDeepGRUを提案する。
• 視覚的およびテキスト的表現を学習可能な線形変換を用いて組み合わせる、マルチモーダルプロジェクション層を導入する。
• 情報の流れを制御し、表現能力を向上させるために、ボトルネック層およびプロジェクション層でゲート付き双曲正接（ght）活性化関数を採用する。
• ResNet-50から得られるエンコーダーのアノテーションおよび画像特徴量に対して、ソフトアテンション機構を適用し、コンテキストベクトルを重み付き和として計算する。
• 過学習を防ぎ、学習を安定化させるために、ドロップアウト（埋め込み層で0.3、アノテーションおよびボトルネックで0.5）と勾配クリッピングを適用する。
• ターゲット語の埋め込み行列と出力プロジェクション行列を結合することで、パラメータ数を削減し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラル画像キャプションから得られる、ゲート付きtanhボトルネックやマルチモーダルプロジェクションといったアーキテクチャ的要素は、マルチモーダル翻訳性能を向上させることができるか？
• RQ2 専用のボトルネック層を備えた、より深いGRUベースのアーキテクチャは、標準のアテンションベースのモデルに比べ、マルチモーダル翻訳において優れた性能を発揮するか？
• RQ3 制限されたデータ設定において、完全な畳み込み特徴量と比較して、マックスプーリングによる視覚的特徴量の使用はどの程度有効か？
• RQ4 パラメータ数が少ない軽量モデルが、マルチモーダル翻訳ベンチマークで最先端の結果を達成できるか？
• RQ5 リソースが限られた環境下で、シーケンスモデリングと組み合わせた視覚的特徴量が、翻訳品質をどの程度向上させるか？

主な発見

• DeepGRUモデルは、WMT18の英語→ドイツ語および英語→フランス語翻訳サブタスクにおいて、最高のMETEORスコアを達成した。
• 英語→フランス語翻訳において、Flickr Test2016セットでベースラインを+2.10ポイント上回り（76.83対74.73）、METEORスコアを向上させた。
• 英語→ドイツ語翻訳において、同じテストセットで+1.21ポイントの向上を達成した（59.58対58.37）。
• 曖昧性のあるMSCOCOテストセットでは、ドイツ語翻訳で+1.00ポイント（49.45対48.45）、フランス語翻訳で+1.40ポイント（65.79対64.39）の向上を記録した。
• 新たにリリースされたFlickr Test2018を含む、すべてのテストセットでベースラインを上回り、フランス語翻訳でMETEORスコア60.17、ドイツ語翻訳で51.64を達成した。
• 結果から、画像キャプション分野のアーキテクチャ的革新（例：ゲート付きtanhボトルネック）が、マルチモーダル翻訳性能を顕著に向上させることを示唆している。