[論文レビュー] Image Captioning with Context-Aware Auxiliary Guidance

Zeliang Song, Xiaofei Zhou+2 more|arXiv (Cornell University)|Dec 10, 2020

Multimodal Machine Learning Applications参考文献 42被引用数 5

ひとこと要約

本稿では、未来に予測される単語を訓練中に活用することで意味的理解を向上させる、Context-Aware Auxiliary Guidance (CAAG) と呼ばれる新規なメカニズムを提案する。ソフトアテンションを用いてグローバルな予測全体に対して注目を集中させることで、CAAG は主なキャプション生成ネットワークがより正確で記述的なキャプションを生成するのを支援する。COCO Karpathy データセットのテストスプリットで 132.2 の CIDEr-D スコアを達成し、3 つの強力なベースラインにおいても一貫した性能向上を示し、最先端の性能を達成した。

ABSTRACT

Image captioning is a challenging computer vision task, which aims to generate a natural language description of an image. Most recent researches follow the encoder-decoder framework which depends heavily on the previous generated words for the current prediction. Such methods can not effectively take advantage of the future predicted information to learn complete semantics. In this paper, we propose Context-Aware Auxiliary Guidance (CAAG) mechanism that can guide the captioning model to perceive global contexts. Upon the captioning model, CAAG performs semantic attention that selectively concentrates on useful information of the global predictions to reproduce the current generation. To validate the adaptability of the method, we apply CAAG to three popular captioners and our proposal achieves competitive performance on the challenging Microsoft COCO image captioning benchmark, e.g. 132.2 CIDEr-D score on Karpathy split and 130.7 CIDEr-D (c40) score on official online evaluation server.

研究の動機と目的

• 自己回帰的キャプション生成モデルが過去の予測にのみ依存するという限界を是正すること。
• 訓練中に将来に予測される単語から得られるグローバルな文脈をモデルが認識・利用できるようにすることで、シーン理解を向上させること。
• 既存の強化学習ベースのキャプショナーをアーキテクチャの再設計なしに強化できる汎用的でプラグアンドプレイなモジュールを開発すること。
• COCO ベンチマークという挑戦的な設定において、複数の最先端のキャプション生成アーキテクチャに対して、本手法の有効性と適応性を検証すること。

提案手法

• CAAG は推論時にグリーディデコードを用いて、主なキャプション生成ネットワークが完全な文（グローバルな文脈）を最初に生成する。
• 各デコードステップで、CAAG はグローバルな予測に対して意味的アテンションを実行し、現在の単語生成をガイドするのに適した将来のトークンに注目する。
• メカニズムは、現在の隠れ状態とすべての将来の予測トークンとの間でアテンション重みを計算するソフトアテンションを採用しており、情報量の多い文脈に動的に注目できる。
• CAAG は、CIDEr-D などのシーケンスレベルの指標を最適化するため、強化学習の目的関数（REINFORCE）を用いて訓練される。
• 推論時には、ビームサーチが主ネットワークと CAAG を併用して、局所的およびグローバルな文脈を活用して最終的なキャプションを生成する。
• 本手法は、Att2all、Up-Down、AoANet の3つの既存キャプショナーに補助ガイダンスモジュールとして適用され、優れた汎化性能を示した。

実験結果

リサーチクエスチョン

• RQ1 将来に予測される単語が、画像キャプションの現在の単語予測を改善する意味的な文脈を提供できるか？
• RQ2 将来の予測から得られるグローバルな意味的文脈を組み込むことで、生成キャプションの質と正確性はどのように向上するか？
• RQ3 CAAG のようなアーキテクチャの変更なしに適用可能な汎用的で非侵襲的な修正が、多様なアテンションベースのLSTMキャプショナーを一貫して改善できるか？
• RQ4 より完全な意味的理解を可能にすることで、CAAG は露出バイアスを軽減し、モデルの一般化性能を向上させるか？
• RQ5 CAAG は、ハードアテンションや他のアテンション変種と比較して、グローバルな予測から有用な文脈を効果的に捉えられるか？

主な発見

• CAAG は COCO Karpathy テストスプリットで 132.2 の CIDEr-D スコアを達成し、標準ベンチマークで優れた性能を示した。
• 公式 COCO オンライン評価サーバーでは、CAAG は 130.7 の CIDEr-D (c40) スコアを達成し、実世界の環境でも堅牢性を確認した。
• トップダウン型アテンションベースのLSTMデコーダーに対して、Karpathy スプリットで CIDEr-D スコアを 123.4 から 128.8 まで向上させ、顕著な改善を示した。
• 人的評価では、3 つのベースラインにおいて、CAAG を用いて生成されたキャプションが 60–70％ の比較でより記述的であると評価された。
• 可視化結果から、CAAG が意味的に関連する将来のトークン（例：'riding' を生成する際の 'bike'）に注目していることが確認され、効果的な文脈活用が行われていることが示された。
• ソフトアテンションを用いた CAAG は、ハードアテンションやガイダンスなしのバージョンを上回る性能を示し、グローバルな予測に対して連続的かつ選択的な注目が有用であることを裏付けた。