[論文レビュー] Image Caption Generation with Text-Conditional Semantic Attention.

Luowei Zhou, Chenliang Xu+2 more|arXiv (Cornell University)|Jun 15, 2016

Multimodal Machine Learning Applications参考文献 8被引用数 33

ひとこと要約

本稿では、生成されたテキストに関連する画像領域に動的に注目するテキスト条件付きセマンティックアテンション機構を、画像キャプション生成のための提案している。バックプロパゲーションによる畳み込みニューラルネットワーク（CNN）重みの微調整と、画像およびテキスト埋め込みのエンドツーエンド統合により、BLEU、METEOR、CIDErスコアにおいてMSCOCO上で最先端のモデルを上回る性能を発揮する。

ABSTRACT

We propose a semantic attention mechanism for image caption generation, called text-conditional semantic attention, which allows the caption generator to automatically learn which parts of the image feature to focus on given previously generated text. To acquire text-related image features for our attention model, we also improve the guiding Long Short-Term Memory (gLSTM) structure by back-propagating the training loss though semantic guidance to fine-tune the CNN weights. In contrast to existing gLSTM methods, such as emb-gLSTM, our fine-tuned model enables guidance information to be more text-related. This also allows jointly learning of the image embedding, text embedding, semantic attention and language model with one simple network architecture in an end-to-end manner. We implement our model based on NeuralTalk2, an open-source image caption generator, and test it on MSCOCO dataset. We evaluate the proposed method with three metrics: BLEU, METEOR and CIDEr. The proposed methods outperform state-of-the-art methods.

研究の動機と目的

• 既存の画像キャプション生成モデルが、進化するテキスト的文脈と視覚的特徴を動的に一致させることに制限を抱えている問題に対処すること。
• 生成されたテキストに条件づけられたアテンションにより、キャプション生成中に注目する画像特徴の関連性を向上させること。
• 画像埋め込み、テキスト埋め込み、セマンティックアテンション、言語モデリングの統合的エンドツーエンド学習を可能にすること。
• gLSTMにおけるガイド信号の有効性を高めるために、セマンティックバックプロパゲーションを通じてCNN重みを微調整すること。

提案手法

• デコーダーの現在の隠れ状態に基づいて、画像特徴を適応的に選択するテキスト条件付きセマンティックアテンション機構を提案する。
• 訓練損失をセマンティックガイドラインを通じてバックプロパゲートすることで、CNN重みを微調整し、gLong Short-Term Memory（gLSTM）を改善する。
• 画像埋め込み、テキスト埋め込み、アテンション重み、言語モデリングをエンドツーエンドで統合的に学習する統一されたネットワークアーキテクチャを導入する。
• MSCOCOデータセット上で提案モデルを実装するために、変更を加えたNeuralTalk2フレームワークを採用する。
• デコーダーの隠れ状態および生成されたテキストの文脈に条件づけられたアテンション機構を用い、特徴選択を洗練させる。
• セマンティックガイドライン経路を通じてバックプロパゲーションを適用し、CNN特徴をテキスト的文脈に応じてより反応しやすくする。

実験結果

リサーチクエスチョン

• RQ1 テキスト条件付きアテンション機構は、生成されたキャプションと関連する画像領域との間の整合性を向上させることができるか？
• RQ2 セマンティックガイドラインを通じて訓練損失をバックプロパゲートすることで、画像特徴の生成テキストに対する関連性が向上するか？
• RQ3 画像およびテキスト埋め込み、アテンション、言語モデリングのエンドツーエンド統合的学習は、キャプション生成性能を向上させることができるか？
• RQ4 自動評価指標の観点から、提案手法は最先端のモデルと比較してどのように差をつけるか？

主な発見

• 提案手法は、既存の最先端モデルと比較してMSCOCOデータセットで優れた性能を達成した。
• テキスト条件付きセマンティックアテンション機構により、キャプション生成中により正確で文脈に即した特徴選択が可能になった。
• セマンティックバックプロパゲーションによるCNN重みの微調整により、テキストに関連する画像特徴が得られ、アテンション品質が向上した。
• 画像表現、テキスト表現、アテンション、言語モデリングを統合的にエンドツーエンドで学習するアーキテクチャは、分離型アプローチよりも優れた性能を発揮した。
• BLEU、METEOR、CIDErの3つの評価指標すべてにおいて、本手法は従来手法を上回った。
• gLSTMフレームワークにセマンティックガイドラインを統合することで、一貫性があり詳細なキャプションを生成する能力が向上した。