[論文レビュー] Doubly Attentive Transformer Machine Translation

Hasan Sait Arslan, Mark Fishel+1 more|arXiv (Cornell University)|Jul 30, 2018

Multimodal Machine Learning Applications参考文献 34被引用数 17

ひとこと要約

本稿では、修正されたマルチヘッドアテンション層における二重アテンションメカニズムを通じて、ソース言語の語と空間的視覚特徴を同時に注目する、二重に注意を向けるTransformer NMT（DATNMT）モデルを提案する。このモデルは、英語-ドイツ語マルチモーダル翻訳において最先端の性能を達成し、先行手法よりもBLEU4スコアを4.5ポイント向上させ、大規模なテキスト専用または画像キャプションコーパスで事前学習することで顕著な向上を示した。

ABSTRACT

In this paper a doubly attentive transformer machine translation model (DATNMT) is presented in which a doubly-attentive transformer decoder normally joins spatial visual features obtained via pretrained convolutional neural networks, conquering any gap between image captioning and translation. In this framework, the transformer decoder figures out how to take care of source-language words and parts of an image freely by methods for two separate attention components in an Enhanced Multi-Head Attention Layer of doubly attentive transformer, as it generates words in the target language. We find that the proposed model can effectively exploit not just the scarce multimodal machine translation data, but also large general-domain text-only machine translation corpora, or image-text image captioning corpora. The experimental results show that the proposed doubly-attentive transformer-decoder performs better than a single-decoder transformer model, and gives the state-of-the-art results in the English-German multimodal machine translation task.

研究の動機と目的

• マルチモーダルNMTにおける単一アテンション機構の限界を是正し、ソーステキストと視覚的特徴の両方に対して独立的かつ並列に注目できるようにすること。
• テキスト専用および画像キャプションの両方の事前学習データを活用することで、低リソースなマルチモーダル翻訳環境における翻訳品質を向上させること。
• アーキテクチャの大幅な変更なしに、統一されたTransformerデコーダーが視覚的および言語的手がかりを効果的に統合できることを示すこと。
• 大規模なテキスト専用または画像キャプションデータセットでの事前学習が、マルチモーダル翻訳の性能に寄与するかどうかを調査すること。

提案手法

• ソース言語のトークンと画像の空間的領域の両方に対するアテンションを別々に処理する、二つの異なるアテンションベクトルを持つ拡張されたマルチヘッドアテンション層を提案する。
• 入力画像からの空間的視覚表現を抽出するために、事前学習済みの畳み込みニューラルネットワーク（CNN）の特徴を利用する。
• 視覚的および言語的表現を統合した単一のTransformerデコーダーを構築し、それが自動回帰的にターゲット言語の系列を生成する。
• 二段階の訓練戦略を採用する：まず大規模なテキスト専用（OPUS）および画像キャプション（Flickr30k）コーパスで事前学習を行い、その後ターゲットとなるマルチモーダル翻訳タスクでファインチューニングを行う。
• 両モodal（テキストおよび視覚的特徴）に対して標準的なスケーリングドット積分アテンションを適用し、テキストと視覚的特徴のそれぞれに固有のクエリ、キー、バリュー行列を用意する。
• SoftAlignmentsツールを用いて、ソース語、ターゲット語、および画像領域間のアテンション分布を可視化・分析する。

実験結果

リサーチクエスチョン

• RQ1 テキストと画像特徴の両方のアテンションヘッドを備えたTransformerデコーダーは、マルチモーダル翻訳において標準的な単一アテンションNMTモデルを上回る性能を発揮できるか？
• RQ2 大規模なテキスト専用または画像キャプションコーパスでの事前学習が、低リソースなマルチモーダル翻訳環境での性能向上にどの程度寄与するか？
• RQ3 二重アテンションメカニズムにおけるアテンション重みは、意味的に関連するソース文の部分および対応する画像領域とどのように整合するか？
• RQ4 視覚的特徴の統合により、特に視覚的対象の参照において、翻訳品質に測定可能な向上が見られるか？

主な発見

• OPUSコーパスで事前学習した後、英語-ドイツ語Multi30kテストセットにおいてDATNMTはBLEU4スコア42.2を達成し、ベースラインのTNMTを4.2 BLEUポイント上回った。
• 事前学習なしで学習した場合、DATNMTは41.0 BLEU4を達成し、標準的なTNMT（38.6 BLEU4）を2.4ポイント上回った。これは二重アテンション機構の有効性を示している。
• Flickr30kで事前学習すると、TNMTは2.7 BLEUポイント（38.6から39.6）向上するが、DATNMTの向上はわずか（41.0から41.1）にとどまる。これは、DATNMTがすでにドメイン内データから恩恵を受けていることを示唆している。
• DATNMTはBLEU4のような精度志向の指標で優れた性能を示す一方で、NMT(SRC+IMG)はMETEORやTERのような再現率志向の指標で優れている。これは、両モデルが相補的な強みを有していることを示している。
• アテンションマップの可視化により、モデルが"Teenager" や "Trompete" といったターゲット語を頭部付近の対応する画像領域と正しく対応づけていることが確認され、意味的アテンションの根拠づけが実現している。
• モデルはドメイン内画像キャプションデータ（Flickr30k）とドメイン外テキスト専用コーパス（OPUS）の両方を効果的に活用でき、データタイプを問わず堅牢な一般化性能を示している。