[論文レビュー] Learning to Guide Decoding for Image Captioning

Wenhao Jiang, Lin Ma+3 more|arXiv (Cornell University)|Apr 3, 2018

Multimodal Machine Learning Applications被引用数 23

ひとこと要約

本論文では、各時刻ステップで画像と言語情報をデコーダーに注入することで、画像キャプションの品質を向上させる、適応的でエンドツーエンドの文脈ベクトルを学習するガイドニューラルネットワークを提案する。本手法は、MS COCOで優れた性能を示し、判別的監視とガイド付きアテンション機構を用いて、SOTAのCIDErスコア0.983を達成した。

ABSTRACT

Recently, much advance has been made in image captioning, and an encoder-decoder framework has achieved outstanding performance for this task. In this paper, we propose an extension of the encoder-decoder framework by adding a component called guiding network. The guiding network models the attribute properties of input images, and its output is leveraged to compose the input of the decoder at each time step. The guiding network can be plugged into the current encoder-decoder framework and trained in an end-to-end manner. Hence, the guiding vector can be adaptively learned according to the signal from the decoder, making itself to embed information from both image and language. Additionally, discriminative supervision can be employed to further improve the quality of guidance. The advantages of our proposed approach are verified by experiments carried out on the MS COCO dataset.

研究の動機と目的

• デコーダー入力に動的ガイドを組み込むことで、画像の内容の正確性と文の流暢さのバランスを改善する挑戦に応える。
• 固定または手動で設計されたアテンションや埋め込み注入の限界を克服し、文脈に適応したガイドベクトルを学習する。
• 画像と言語の理解の整合性を高めるために、生成的および判別的信号を用いてガイドネットワークをエンドツーエンドで訓練可能にする。
• ガイドベクトルが視覚的および言語的情報を適応的に埋め込むことで、キャプションの多様性と正確性を向上させる。

提案手法

• 各デコーディングステップで画像特徴とデコーダー隠れ状態を処理し、文脈に適応したガイドベクトルを生成するガイドニューラルネットワークを導入する。
• ガイドベクトルを単語埋め込みと以前の隠れ状態に連結することで、デコーダー入力に統合する。
• デコーダー損失からのバックプロパゲーションを用いて、ガイドネットワークをエンドツーエンドで訓練し、画像と言語理解の共同最適化を可能にする。
• 予測された単語に対する交差エントロピー損失を用いて判別的監視を適用し、ガイドベクトルの表現を精緻化する。
• レビューネットワークを用いてアノテーションベクトルを精緻化し、アテンションの品質を向上させ、デコーダーが顕著な画像領域に集中できるようにする。
• 生成的（単語の交差エントロピー）および判別的（単語レベルの監視）の複数の監視源を組み合わせ、頑健なガイド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なガイドネットワークが、デコーダーに動的画像・言語情報を注入することで、画像キャプションの品質を向上させることができるか？
• RQ2 単語予測に対する判別的監視が、キャプション生成におけるガイドネットワークの性能にどのように影響するか？
• RQ3 MIL特徴とアノテーションベクトルの両方が、ガイドネットワークの有効性に果たす相対的寄与度は何か？
• RQ4 標準的なアテンションやレビューネットワークと比較して、ガイドネットワークはキャプションの多様性を高め、繰り返しを減らすことができるか？

主な発見

• 提案されたLTG-Review-Netは、MS COCOの検証セットでSOTAのCIDErスコア0.983を達成し、MIL-Review-Net（0.975）やSoft Attention（0.936）といったベースラインモデルを上回った。
• λ=10のトレードオフ重みを用いた判別的監視が最良の性能を示し、CIDErをλ=0.01の0.939から0.983まで向上させ、効果的な最適化が可能であることを示した。
• MILとアノテーションベクトルの両方を有するガイドネットワークが最も優れた性能（CIDEr: 0.983）を示し、両方を除去すると最も悪い性能（CIDEr: 0.958）を示した。これは、両者の相補的役割を確認した。
• 本モデルは、MIL-Review-Net（745語）やSoft Attention（793語）と比較して、顕著に多くの異なる語彙（840語）を生成し、語彙の多様性とカバレッジの向上を示した。
• アブレーションスタディにより、MIL特徴とアノテーションベクトルの両方が性能向上に寄与しており、単一のコンポonentが絶対的に優位であるとは限らないことが確認された。
• ガイドネットワークが視覚的および言語的情報を適応的に埋め込む能力のおかげで、質的例において語の認識が向上し、より正確で多様なキャプションが生成された。