[論文レビュー] Joint Image Captioning and Question Answering

Jialin Wu, Zeyuan Hu+1 more|arXiv (Cornell University)|May 22, 2018

Multimodal Machine Learning Applications参考文献 30被引用数 13

ひとこと要約

本論文は、相互監視を活用することで、画像キャプションと視覚的質問応答（VQA）の両方の性能を向上させる共同学習フレームワークを提案する。VQAから生成された質問関連キャプションは、VQAの性能を向上させるための意味的知識を提供する一方で、質問特徴量はキャプション生成をより情報豊かで多様になるように誘導する。アンサンブルモデルを用いることで、VQA v2のテスト・スタンダード分割で69.7%の精度を達成し、自動評価指標およびVQA性能の両面で顕著な向上が見られた。

ABSTRACT

Answering visual questions need acquire daily common knowledge and model the semantic connection among different parts in images, which is too difficult for VQA systems to learn from images with the only supervision from answers. Meanwhile, image captioning systems with beam search strategy tend to generate similar captions and fail to diversely describe images. To address the aforementioned issues, we present a system to have these two tasks compensate with each other, which is capable of jointly producing image captions and answering visual questions. In particular, we utilize question and image features to generate question-related captions and use the generated captions as additional features to provide new knowledge to the VQA system. For image captioning, our system attains more informative results in term of the relative improvements on VQA tasks as well as competitive results using automated metrics. Applying our system to the VQA tasks, our results on VQA v2 dataset achieve 65.8% using generated captions and 69.1% using annotated captions in validation set and 68.4% in the test-standard set. Further, an ensemble of 10 models results in 69.7% in the test-standard split.

研究の動機と目的

• 単独のVQAおよび画像キャプションシステムでは、複雑な視覚的関係や常識的知識を十分に捉えられないという限界を是正すること。
• VQAにおいて画像特徴量に過度に依存するのを避けるために、画像キャプションから得られる外部の常識的知識を統合すること。
• キャプション生成中に視覚的質問をヒューリスティックとして用いることで、キャプションの多様性と情報量を向上させること。
• 共同学習と推論を通じて、画像キャプションとVQAの相補性を実証すること。

提案手法

• 画像と質問の特徴量の共同表現を用いて、質問関連のキャプションを同時に生成し、その結果をVQAモデルの追加入力として利用する。
• 勾配に基づくオンライン選択アルゴリズムにより、学習中に最も関連性の高いアノテート済みキャプションを特定し、回答の勾配と整合性を最大化する。
• VQAモデルは、画像、質問、キャプションの特徴量を要素ごとの演算（加算および乗算）によって統合し、注意メカニズムと予測を精緻化する。
• キャプションモデルは、質問特徴量を条件付き事前分布として用いて、より多様で文脈に適したキャプションの生成を誘導する。
• 二重スティームアーキテクチャにより、共有の視覚的特徴量と、質問およびキャプションのモodal別処理を別々に行うことで、エンド・ツー・エンドの学習を可能にする。
• VQA v2のテスト・スタンダード分割での汎化性能と性能向上を図るため、10モデルのアンサンブルを用いる。

実験結果

リサーチクエスチョン

• RQ1 共同学習中に生成された質問関連キャプションは、画像および質問特徴量のみに依存する場合と比較して、VQA性能を向上させることができるか？
• RQ2 質問に配慮したキャプションは、画像記述の情報量と多様性をどの程度向上させるか？
• RQ3 生成されたキャプションを補助的特徴量として統合することで、VQAシステムのロバスト性と精度はどの程度向上するか？
• RQ4 キャプション生成とVQAの間での相互監視により、画像特徴量への依存を軽減し、質問のみで予測する際のバイアスを緩和できるか？

主な発見

• アンサンブル10モデルを用いることで、VQA v2のテスト・スタンダード分割で69.7%の精度を達成し、BUTDベースラインを上回った。
• 生成されたキャプションを入力として使用した場合、VQAモデルはバリデーションセットで65.8%の精度を達成し、63.2%のベースラインと比較して顕著な向上を示した。
• COCOのアノテート済みキャプションを用いることで、バリデーションセットで69.1%の精度を達成し、キャプションベースの知識の価値を示した。
• 生成キャプションを用いることで、相対的なVQA精度が4.11%向上したのに対し、ベースラインモデルでは2.22%にとどまり、情報量の多さが顕著に示された。
• 自動評価のキャプション指標においても競争力のあるスコアを達成するとともに、同時に下流タスクのVQA性能も向上させたことから、二重タスクの利点が実証された。
• 勾配に基づくキャプション選択手法は、キャプションの関連性と回答予測の整合性を高める高品質な監視信号を効果的に同定した。