[論文レビュー] MAT: A Multimodal Attentive Translator for Image Captioning

Chang Liu, Fuchun Sun+3 more|arXiv (Cornell University)|Feb 18, 2017

Multimodal Machine Learning Applications参考文献 21被引用数 13

ひとこと要約

本稿では、視覚的言語（検出されたオブジェクトのシーケンスとして表現される）を自然言語に翻訳するタスクとして画像キャプション生成を定式化する、MAT（Multimodal Attentive Translator）を提案する。オブジェクト特徴の上に順序付きアテンション機構を活用することで、視覚的表現のバランスを向上させ、MS COCOで最先端の性能を達成した。CIDErスコアは1.064（c40）、SPICEは18.9（c5）を記録した。

ABSTRACT

In this work we formulate the problem of image captioning as a multimodal translation task. Analogous to machine translation, we present a sequence-to-sequence recurrent neural networks (RNN) model for image caption generation. Different from most existing work where the whole image is represented by convolutional neural network (CNN) feature, we propose to represent the input image as a sequence of detected objects which feeds as the source sequence of the RNN model. In this way, the sequential representation of an image can be naturally translated to a sequence of words, as the target sequence of the RNN model. To represent the image in a sequential way, we extract the objects features in the image and arrange them in a order using convolutional neural networks. To further leverage the visual information from the encoded objects, a sequential attention layer is introduced to selectively attend to the objects that are related to generate corresponding words in the sentences. Extensive experiments are conducted to validate the proposed approach on popular benchmark dataset, i.e., MS COCO, and the proposed model surpasses the state-of-the-art methods in all metrics following the dataset splits of previous work. The proposed approach is also evaluated by the evaluation server of MS COCO captioning challenge, and achieves very competitive results, e.g., a CIDEr of 1.029 (c5) and 1.064 (c40).

研究の動機と目的

• RNNベースの画像キャプション生成における視覚的エンコーディングと言語デコーディングの間のアンバランスを解消するため、タスクをマルチモーダルなシーケンス・トランスレーションに再定式化すること。
• 単一画像のCNN特徴を検出されたオブジェクト特徴のシーケンスに置き換えることで、画像キャプションにおける視覚的表現を向上させること。
• 語の生成中に関連するオブジェクトを動的に注目できるように、順序付きアテンション層を導入することでアテンション機構を強化すること。
• 視覚的コンテンツのよりバランスの取れた、情報量の多いエンコーディングを実現することで、ベンチマークデータセットで優れた性能を達成すること。

提案手法

• オブジェクト検出と特徴抽出を用いて、画像を検出されたオブジェクトのシーケンスとして表現し、単一のCNN特徴表現に置き換える。
• オブジェクト特徴のシーケンスをエンコーダーRNNに供給し、文脈的な視覚的表現を生成する。
• 各デコーディング時刻ステップで、すべてのオブジェクト特徴に対してアテンション重みを計算する順序付きアテンション機構を導入し、関連する視覚的要素への動的フォーカスを可能にする。
• 順序付きアテンションからのコンテキストベクトルに条件付けられたデコーダーRNNを用い、トークン単位で自然言語のキャプションを生成する。
• 訓練の安定性を向上させるために、スケジュールドサンプリングを用いた交差エントロピー損失で、エンドツーエンドのモデルを訓練する。
• MS COCOの評価サーバーとSPICEメトリックを活用し、人間の判断と比較して性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 単一のCNN特徴を使用するのと比較して、画像を検出されたオブジェクトのシーケンスとして表現することは、画像キャプションモデルの性能向上に寄与するか？
• RQ2 デコーディング中に複数のオブジェクト特徴を注目する順序付きアテンション機構は、キャプションの品質にどのように影響するか？
• RQ3 提案されたマルチモーダル・シーケンス・トランスレーションフレームワークは、標準ベンチマークで既存のCNN+RNNおよびアテンションベースのベースラインを上回る性能を発揮するか？
• RQ4 SPICEメトリックで測定した場合、モデルの性能は人間の判断とどの程度相関しているか？

主な発見

• MATは、MS COCOの評価サーバーでCIDErスコア1.064（c40）および1.029（c5）を達成し、前回の最先端性能を大きく上回った。
• MS COCO 5000テストスプリットでは、SPICEスコア18.9（c5）を記録し、人間の判断と強い整合性を示した。
• アブレーションスタディの結果、順序付きオブジェクト表現と順序付きアテンション機構の両方が、ベースラインモデルと比較して性能向上に顕著な寄与をしていることが確認された。
• 定性的な結果から、MATは、複数のオブジェクトや動作を正しく特定するなど、より正確で文脈的に適切なキャプションを生成することが、ベースラインと比較して顕著に優れていた。