[論文レビュー] Exploring Overall Contextual Information for Image Captioning in Human-Like Cognitive Style

Hongwei Ge, Zehang Yan+3 more|arXiv (Cornell University)|Oct 15, 2019

Multimodal Machine Learning Applications参考文献 47被引用数 6

ひとこと要約

本稿では、画像キャプション生成において前向きおよび後向きの文脈を統合的にモデル化することで、より一貫性があり人間らしいキャプションを生成できる、相互支援型双方向LSTMアーキテクチャ「MaBi-LSTM」を提案する。双方向的文脈とクロスモーダルアテンション機構を活用することで、COCOデータセットにおいて最先端の性能を達成し、文脈認識能力とマルチモーダル統合の向上によりキャプション品質が向上する。

ABSTRACT

Image captioning is a research hotspot where encoder-decoder models combining convolutional neural network (CNN) and long short-term memory (LSTM) achieve promising results. Despite significant progress, these models generate sentences differently from human cognitive styles. Existing models often generate a complete sentence from the first word to the end, without considering the influence of the following words on the whole sentence generation. In this paper, we explore the utilization of a human-like cognitive style, i.e., building overall cognition for the image to be described and the sentence to be constructed, for enhancing computer image understanding. This paper first proposes a Mutual-aid network structure with Bidirectional LSTMs (MaBi-LSTMs) for acquiring overall contextual information. In the training process, the forward and backward LSTMs encode the succeeding and preceding words into their respective hidden states by simultaneously constructing the whole sentence in a complementary manner. In the captioning process, the LSTM implicitly utilizes the subsequent semantic information contained in its hidden states. In fact, MaBi-LSTMs can generate two sentences in forward and backward directions. To bridge the gap between cross-domain models and generate a sentence with higher quality, we further develop a cross-modal attention mechanism to retouch the two sentences by fusing their salient parts as well as the salient areas of the image. Experimental results on the Microsoft COCO dataset show that the proposed model improves the performance of encoder-decoder models and achieves state-of-the-art results.

研究の動機と目的

• 画像キャプション生成の際、標準的なエンコーダ・デコーダモデルが完全な文脈的依存関係を捉えきれないという限界を是正すること。
• 画像の内容と文構造の全体像を事前に認識することで、人間の認知スタイルを模倣すること。
• 相互支援型LSTM構造を用いて前向きおよび後向き言語文脈を同時にモデル化することで、文の整合性と正確性を向上させること。
• クロスモーダルアテンション機構を用いて、視覚的特徴（CNN）と言語表現（LSTM）の間のドメインギャップを埋めること。
• 前向きおよび後向きのキャプション生成から得られる顕著な視覚的領域と意味的要素を統合することで、キャプション品質を向上させること。

提案手法

• 前向きおよび後向きLSTMが互いに補完的文脈を用いて隠れ状態を反復的に更新する相互支援型双方向LSTM構造「MaBi-LSTM」を提案する。
• 訓練中に前後の単語を相互に符号化できる補助構造をMaBi-LSTMに導入し、文脈認識能力を強化する。
• 推論段階では、前向きおよび後向きの両方向で候補キャプションを生成することで、双方向の文レベル文脈を捉える。
• 視覚的特徴と両方向のキャプションからの意味的特徴を融合するクロスモーダルアテンション機構を採用し、最終出力を最適化する。
• 視覚アテンションで関連する画像領域に注目し、意味的アテンションで生成された二つのキャプションからの顕著な語を強調することで、マルチモーダル統合を実現する。
• CNN特徴抽出器を固定した上で、モデル全体をエンドツーエンドで微調整し、視覚的・意味的表現の共同学習を最適化する。

実験結果

リサーチクエスチョン

• RQ1 相互支援学習を有する双方向LSTMは、標準的な単方向または独立した双方向LSTMと比較して、画像キャプション生成における文脈モデリングをどのように改善するか？
• RQ2 後向きLSTMによる将来の単語文脈の組み込みは、生成キャプションの正確性と滑らかさをどのように向上させるか？
• RQ3 視覚的および意味的情報を統合するクロスモーダルアテンション機構は、個別にキャプションを生成する場合と比較して、どれほどキャプション品質を向上させるか？
• RQ4 本手法は、ベースラインモデルと比較して、細分化された属性（例：色、物体数）をどれほど正確に捉えられるか？
• RQ5 前向きおよび後向きキャプションストリームから得られる補完的情報を統合することで、モデルはより包括的かつ正確な記述を生成できるか？

主な発見

• MaBi-LSTMモデルは、前向きおよび後向き言語モデリング間の相互文脈学習を可能にすることで、標準的な単方向LSTMおよび独立した双方向LSTMを大きく上回るキャプション品質の向上を達成した。
• クロスモーダルアテンション機構は、前向きおよび後向きキャプションストリームからの顕著な視覚的領域と意味的要素を効果的に統合し、より正確で包括的な記述を実現した。
• COCOデータセットにおいて、本手法はBLEU、ROUGE、CIDErの指標で、既存手法を上回る定量的改善を達成し、最先端の性能を発揮した。
• ベースラインのキャプションで欠落していた「ミラー」「カップ」「ワイングラス」「ピンク」などの画像コンテンツを、本手法は効果的に回復した。これは、物体および属性認識能力の向上を示している。
• 前向きまたは後向きLSTMからの個別のキャプションが不完全または誤りであっても、MaBi-LSTMは補完的情報を活用することで、一貫性があり正確な最終キャプションを生成できた。
• MaBi-LSTMに組み込まれた補助構造により、特に曖昧な状況（例：「なめる」対「飲む」の区別）において、非表示の将来文脈を組み込むことで、より良い文脈モデリングが可能になった。