[論文レビュー] Boosting Image Captioning with Attributes

Ting Yao, Yingwei Pan+3 more|arXiv (Cornell University)|Nov 5, 2016

Multimodal Machine Learning Applications参考文献 22被引用数 38

ひとこと要約

この論文は、エンドツーエンドで学習可能なRNNアーキテクチャ内で、高レベルの画像属性とディープ畳み込み特徴を統合することで、キャプション生成を向上させる、LSTM-Aと呼ばれる新しい画像キャプションフレームワークを提案する。画像表現と属性をLSTMにフィードする方法を複数検討（初期融合、遅延融合、ステップバイステップのインジェクションなど）することで、SOTAの性能を達成し、GoogleNetを用いたCOCOテストセットで25.2%のMETEORと98.6%のCIDEr-Dを達成し、公式のCOCOキャプションランクイングで1位を獲得した。

ABSTRACT

Automatically describing an image with a natural language has been an emerging challenge in both fields of computer vision and natural language processing. In this paper, we present Long Short-Term Memory with Attributes (LSTM-A) - a novel architecture that integrates attributes into the successful Convolutional Neural Networks (CNNs) plus Recurrent Neural Networks (RNNs) image captioning framework, by training them in an end-to-end manner. To incorporate attributes, we construct variants of architectures by feeding image representations and attributes into RNNs in different ways to explore the mutual but also fuzzy relationship between them. Extensive experiments are conducted on COCO image captioning dataset and our framework achieves superior results when compared to state-of-the-art deep models. Most remarkably, we obtain METEOR/CIDEr-D of 25.2%/98.6% on testing data of widely used and publicly available splits in (Karpathy & Fei-Fei, 2015) when extracting image representations by GoogleNet and achieve to date top-1 performance on COCO captioning Leaderboard.

研究の動機と目的

• 生の画像特徴を超える補足的知識としての高レベルの意味的属性を組み込むことで、画像キャプションの品質を向上させること。
• RNNデコーダーに属性と画像表現を最適に統合する方法とタイミングを特定すること。
• 属性と画像特徴をLSTMにインジェクションする位置とタイミングの違いに起因するアーキテクチャの変種を調査すること。
• エンドツーエンド学習を用いて、COCO画像キャプションベンチマークでSOTAの性能を達成すること。
• 属性が生成されたキャプションの記述的正確性と意味的豊かさを向上させることを実証すること。

提案手法

• CNN（GoogleNet や ResNet-152 など）から得られる画像特徴と高レベルの属性を入力として受容する、LSTMデコーダーを変更したLSTM-Aを提案する。
• 各時刻に両方をインジェクションするか、順次インジェクションするかなど、入力の順序とタイミングの違いに起因する5つの異なるアーキテクチャ変種（LSTM-A 1～5）を設計する。
• 「赤い」「犬」「飛んでいる」「持っている」など、高レベルの属性を画像から検出するためのマルチインスタンス学習（MIL）手法を採用する。
• 単語予測のための交差エントロピー損失を用いた標準的なシーケンス・ツー・シーケンス学習により、モデル全体をエンドツーエンドで学習する。
• 推論時には、k ∈ {1,2,3,4,5} の範囲で性能評価に基づき選択されたビームサイズk=3のビームサーチデコードを採用する。
• 標準的な学習/検証/テスト分割を用いたCOCOデータセットを用い、BLEU、METEOR、CIDEr-D、ROUGE、SPICEといった標準的な指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 高レベルの画像属性の統合は、生成された画像キャプションの質と関連性をどのように向上させるか？
• RQ2 RNNベースのキャプションモデルにおいて、画像表現と属性を統合する最適なアーキテクチャ設定は何か？
• RQ3 入力インジェクションのタイミングと順序（例：画像を先に、属性を後に）は、キャプション生成性能に顕著な影響を与えるか？
• RQ4 CNN特徴のみを用いるモデルと比較して、属性はより記述的で意味的に正確なキャプションを生成するのを支援するか？
• RQ5 属性は、COCO画像キャプションランクイングでSOTAの性能を達成するために、どの程度貢献しているか？

主な発見

• LSTM-A 3は、すべての変種の中で最高のBLEU@1およびMETEORスコアを達成しており、その特異な統合戦略の有効性を示している。
• LSTM-A 5は、CIDEr-D、ROUGE、SPICEのすべてで最高スコアを記録しており、参照キャプションとの整合性が高く、自然な文章生成が可能であることを示している。
• GoogleNet特徴を用いたCOCOテストセットでは、25.2%のMETEORと98.6%のCIDEr-Dを達成し、提出時時点で新たなSOTAを樹立した。
• ResNet-152特徴を用いた場合、CIDEr-Dスコアは104.9%（c5）および105.3%（c40）に上昇し、さらなる性能向上が確認された。
• 公式のCOCOキャプションランクイングで1位を獲得し、以前に発表されたあらゆる手法を上回った。
• 定性的な分析から、LSTM-Aは「犬」「赤い」「持っている」などの検出された属性を正しく組み込むことで、より正確で記述的なキャプションを生成することが確認された。