[論文レビュー] Active Learning for Visual Question Answering: An Empirical Study

Xiao Lin, Devi Parikh|arXiv (Cornell University)|Nov 6, 2017

Multimodal Machine Learning Applications参考文献 24被引用数 18

ひとこと要約

本稿では、ベイジアンニューラルネットワークフレームワーク下で、深層視覚質問応答（VQA）モデルに対するアクティブラーニング戦略——クローリング、好奇心駆動型、目的指向型——を提案および評価する。モデルが意味的に有用な質問・画像ペアを選択できるようになるには30,000～50,000件の訓練例が必要であり、それ以降、目的指向型ラーニングにより注釈コストが顕著に削減される。特に、yes/no質問などのターゲットとなる質問タイプに対して顕著である。

ABSTRACT

We present an empirical study of active learning for Visual Question Answering, where a deep VQA model selects informative question-image pairs from a pool and queries an oracle for answers to maximally improve its performance under a limited query budget. Drawing analogies from human learning, we explore cramming (entropy), curiosity-driven (expected model change), and goal-driven (expected error reduction) active learning approaches, and propose a fast and effective goal-driven active learning scoring function to pick question-image pairs for deep VQA models under the Bayesian Neural Network framework. We find that deep VQA models need large amounts of training data before they can start asking informative questions. But once they do, all three approaches outperform the random selection baseline and achieve significant query savings. For the scenario where the model is allowed to ask generic questions about images but is evaluated only on specific questions (e.g., questions whose answer is either yes or no), our proposed goal-driven scoring function performs the best.

研究の動機と目的

• 人間による注釈コストを削減しつつ、性能を維持するため、深層VQAモデルにおけるアクティブラーニング戦略を調査すること。
• 長尾分布に起因する冗長性が顕著な大規模なアノテート済みデータが高価であるため、VQAにおけるデータ効率性の課題に対処すること。
• アクティブラーニングが、希少な質問や常識的推論を要するタスクに対して、情報量の多い質問・画像ペアを効果的に優先できるかどうかを検討すること。
• ベイジアンニューラルネットワークフレームワーク下で、クローリング、好奇心駆動型、目的指向型の異なるクエリ戦略の有効性を評価すること。
• モデルが、yes/no質問応答などの特定のダウンストリームタスクの性能向上に寄与する質問を学習して選択できるかどうかを検証すること。

提案手法

• ベイジアンニューラルネットワークフレームワーク下で、プールにある質問とテスト質問の間の相互情報量に基づく、新しい目的指向型アクティブラーニングスコア関数を提案する。
• 比較のためのベースラインとして、エントロピーに基づく不確実性（クローリング）および期待されるモデル変化（好奇心駆動型）を用いる。
• クエリ戦略の計算にあたり、モンテカルロドロップアウトを用いてベイジアンフレームワーク下での不確実性およびモデル分散を推定する。
• 反復的アクティブラーニングを適用：モデルは未ラベルプから上位k件の情報量の多い質問・画像ペアを選択し、アノテータに回答を照会した後、再訓練を行う。
• 評価指標として、ダウンストリームテストセットでの性能を用い、VQA v1.0およびv2.0データセットで戦略を評価する。
• バッチ選択を実装し、相互情報量の推定を効率的に行い、大規模データセットへのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 深層VQAモデルは、アクティブラーニングにおいて情報量の多い質問・画像ペアを効果的に選択できるか。また、そのような選択がどのスケールで可能になるか。
• RQ2 クローリング、好奇心駆動型、目的指向型の異なるアクティブラーニング戦略は、注釈コスト削減および性能向上の観点でどのように比較されるか。
• RQ3 ターゲットタスクへの関連性に焦点を当てた目的指向型アクティブラーニングは、不確実性やモデル変化に基づく戦略を上回るか。
• RQ4 モデルが特定の質問タイプ（例：yes/no質問）でのみ評価される場合、アクティブラーニングはどの程度注釈コストを削減できるか。
• RQ5 アクティブラーニングで学習したモデルは、事前に最も関連性の高い質問タイプ（例：yes/no質問）のみをクエリする「抜け穴あり」のパasiveベースラインと同等の性能を達成できるか。

主な発見

• 深層VQAモデルは、30,000～50,000件の訓練例を経験するまで、情報量の多い質問を適切に選択できない。それ以前はアクティブラーニングに恩恵がない。
• モデルがこの閾値に達した後、クローリング、好奇心駆動型、目的指向型の3つのアクティブラーニング戦略とも、ランダム選択を上回り、顕著なクエリコスト削減を達成する。
• 提案された目的指向型戦略は、yes/no質問など特定の質問タイプをターゲットとするダウンストリームタスクで最も優れた性能を示す。
• 反復50回目までに、目的指向型戦略はVQA v2.0の訓練スプリットに含まれる167,499個のyes/no質問のうち50％を抽出しており、ターゲットタスクへの関連性が強いことを示している。
• 目的指向型アプローチは、yes/no質問のみをクエリする「抜け穴あり」のパasiveベースラインとほぼ同等の性能を示しており、関連知識に的を絞る有効性が裏付けられている。
• 追加データによる性能向上は、モデルアーキテクチャに依存せず線形的に継続するため、継続的なデータ収集によるアクティブラーニングの利点が持続可能であると考えられる。