[論文レビュー] What value high level concepts in vision to language problems

Qi Wu, Chunhua Shen+3 more|arXiv (Cornell University)|Jun 3, 2015

Multimodal Machine Learning Applications参考文献 60被引用数 3

ひとこと要約

本稿では、ビジョン・トゥ・ランゲージタスクにおけるCNN-RNNフレームワークにハイレベルな意味的コンセプトを統合することで、画像キャプション生成および視覚的質問応答のパフォーマンスを向上させる手法を提案する。明示的な意味的コンセプトモデリングにより、最先端の結果が達成され、外部の意味的知識がさらに精度を向上させることを示している。

ABSTRACT

Much of the recent progress in Vision-to-Language (V2L) problems has been achieved through a combination of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs). This approach does not explicitly represent high-level semantic concepts, but rather seeks to progress directly from image features to text. We propose here a method of incorporating high-level concepts into the very successful CNN-RNN approach, and show that it achieves a significant improvement on the state-of-the-art performance in both image captioning and visual question answering. We also show that the same mechanism can be used to introduce external semantic information and that doing so further improves performance. In doing so we provide an analysis of the value of high level semantic information in V2L problems.

研究の動機と目的

• 高レベルな意味的コンセプトを統合することで、ビジョン・トゥ・ランゲージタスクのパフォーマンスが向上するかどうかを調査すること。
• ビジョン・トゥ・ランゲージモデリングのための既存のCNN-RNNアーキテクチャに意味的コンセプトを統合する手法を開発すること。
• 画像キャプション生成および視覚的質問応答におけるモデルパフォーマンスに、外部の意味的情報が与える影響を評価すること。
• 高レベルな意味的表現が、ビジョンと言語理解の橋渡しに果たす価値を分析すること。

提案手法

• 本手法は、視覚特徴空間内に高レベルな意味的コンセプトを明示的に表現するメカニズムを導入することで、CNN-RNNフレームワークを拡張する。
• 高レベルなコンセプトは、RNNのデコード段階中に追加の入力特徴として組み込まれ、モデルが意味的属性に基づいて推論できるようにする。
• 事前学習モデルや知識ベースからのコンセプト埋め込みなど、外部の意味的情報の統合を可能にする。
• キャプション生成およびVQAのための標準的な損失関数を用いてエンド・ツー・エンドで学習し、コンセプト予測に追加の監視を導入する。
• 意味的コンセプトは、画像特徴から専用の分類器を用いて予測され、それが言語デコーダーに供給される。
• ゼロショットおよびファインチューニングによる意味的コンセプト統合をサポートし、異なるデータセットへの柔軟な適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高レベルな意味的コンセプトの統合が、画像キャプション生成および視覚的質問応答のパフォーマンスに与える影響は何か？
• RQ2 学習済みコンセプトに加えて、外部の意味的情報を統合することで、モデルパフォーマンスがさらに向上するか？
• RQ3 直接的な画像からテキストへのマッピングと比較して、明示的な意味的コンセプトモデリングの相対的寄与度は何か？
• RQ4 本手法は、ドメイン外またはレアなコンセプトに適用された場合、どの程度の頑健性を示すか？

主な発見

• 高レベルな意味的コンセプトの統合により、画像キャプション生成および視覚的質問応答の両方のパフォーマンスが顕著に向上する。
• 本手法は、両タスクにおけるベンチマークデータセットで最先端の結果を達成する。
• 学習済みコンセプトに加えて、外部の意味的情報を統合することで、ベースモデルのパフォーマンスをさらに向上させる。
• 特にレアまたは複雑な視覚的コンセプトにおいて、一般化性能の向上が見られる。