[論文レビュー] An Empirical Evaluation of Visual Question Answering for Novel Objects

Santhosh Kumar Ramakrishnan, Ambar Pal+2 more|arXiv (Cornell University)|Apr 8, 2017

Multimodal Machine Learning Applications参考文献 35被引用数 10

ひとこと要約

本論文は、訓練中に確認されていない新しいオブジェクトを含む画像に対してモデルを評価する、視覚的質疑応答（VQA）のための新規ベンチマークを提案する。外部のテキストおよび画像コーパスを活用する2つのモジュラーでマルチモーダルな深層学習手法を導入し、新規オブジェクトにおけるVQAパフォーマンスを向上させ、ベースラインモデルと比較して新規オブジェクトサブセットで最大8.7%の絶対的向上を達成した。

ABSTRACT

We study the problem of answering questions about images in the harder setting, where the test questions and corresponding images contain novel objects, which were not queried about in the training data. Such setting is inevitable in real world-owing to the heavy tailed distribution of the visual categories, there would be some objects which would not be annotated in the train set. We show that the performance of two popular existing methods drop significantly (up to 28%) when evaluated on novel objects cf. known objects. We propose methods which use large existing external corpora of (i) unlabeled text, i.e. books, and (ii) images tagged with classes, to achieve novel object based visual question answering. We do systematic empirical studies, for both an oracle case where the novel objects are known textually, as well as a fully automatic case without any explicit knowledge of the novel objects, but with the minimal assumption that the novel objects are semantically related to the existing objects in training. The proposed methods for novel object based visual question answering are modular and can potentially be used with many visual question answering architectures. We show consistent improvements with the two popular architectures and give qualitative analysis of the cases where the model does well and of those where it fails to bring improvements.

研究の動機と目的

• テスト画像に訓練中に確認されていないオブジェクトが含まれる状況における視覚的質疑応答（VQA）の課題を調査すること。
• 既存のVQAモデルが新しい視覚的カテゴリに一般化する際に性能が低下する問題を解決すること。
• 外部のテキストおよび画像コーパスを用いて、新規オブジェクトにおけるゼロショットVQAを向上させるモジュラーなフレームワークを提案すること。
• 新規オブジェクトが訓練済みオブジェクトと意味的に関連する条件下で、オラクルおよび最小意味的仮定設定の両方において提案手法を評価すること。
• 複数のVQAアーキテクチャおよび質問タイプにわたり、一貫したパフォーマンス向上を示すことを目的とする。

提案手法

• 訓練例に新規テストオブジェクトの記述が一切含まれないよう、VQAデータセットの新たなトレイン・テスト分割を提案し、強力なゼロショット評価設定を構築する。
• 外部ソースからの視覚的および言語的表現を整列させるために、深層再帰ニューラルネットワークを用いたマルチモーダルオートエンコーダを用いる。
• 大規模なラベルなしテキストコーパス（例：書籍）を活用し、事前学習済みのWord2Vec埋め込みを用いて新規オブジェクトの意味的表現を学習する。
• ラベル付きの外部画像データセットを統合し、画像・テキストの対照的学習を用いて新規オブジェクトの視覚的文脈を提供する。
• VGG、Inception、ResNetバックボーンを用いた既存のVQAアーキテクチャに統合可能なモジュラーフレームワークを適用する。
• オラクル設定と非オラクル設定の両方を採用：オラクルケースでは、モデルに新規オブジェクト名が与えられるが、一般ケースではWord2Vec空間における意味的類似度からオブジェクトを推論する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に確認されていないオブジェクトを含む画像に対してテストされた際、既存の最先端VQAモデルはどの程度の性能を示すか？
• RQ2 トレーニング時に明示的なアノテーションを必要とせず、外部のテキストおよび画像コーパスを用いて新規オブジェクトにおけるVQAパフォーマンスを向上させることができるか？
• RQ3 外部のテキスト知識のみを用いる場合と、外部ソースからのテキストおよび視覚的知識を併用する場合とでは、パフォーマンスにどのような差が生じるか？
• RQ4 新規オブジェクトが明示的に提供されない場合（すなわち、最小意味的仮定下）、モデルの効果性はどの程度か？
• RQ5 提案手法は、さまざまなVQAアーキテクチャおよび質問タイプにどの程度一般化可能か？

主な発見

• 2つの最先端VQAアーキテクチャの性能は、既知のオブジェクトと比較して、新規オブジェクトに対する評価では最大28%低下した。
• 外部テキストコーパスを用いた提案手法は、オープンエンド質問カテゴリの新規オブジェクトサブセットで、最大8.7%の精度向上を達成した。
• 外部テキストデータの使用は、外部画像データの使用よりも顕著な向上をもたらしたが、画像データの使用はわずかまたは無視できる程度の向上にとどまった。
• オラクルおよび一般（非オラクル）設定の両方で一貫した向上が得られ、明示的な新規オブジェクトラベルが欠落している状況でもモデルの堅牢性が示された。
• 定性的な分析から、新規オブジェクトが既知のオブジェクトと意味的に関連している場合にはモデルが成功するが、意味的リンクが弱いか曖昧な場合には失敗することがわかった。
• 提案手法はモジュラーであり、さまざまなVQAアーキテクチャに統合可能であり、広範な適用可能性を示した。