[論文レビュー] Single-Modal Entropy based Active Learning for Visual Question Answering

Dong-Jin Kim, Jae-Won Cho+3 more|arXiv (Cornell University)|Oct 21, 2021

Multimodal Machine Learning Applications参考文献 60被引用数 5

ひとこと要約

本稿では、視覚質問応答（VQA）のための新しいアクティブラーニング手法である単一モダリティ・エントロピー測度（SMEM）を提案する。この手法は、画像のみまたは質問のみの単一モダリティブランチからの不確実性を活用して、最も情報量の多いサンプルを選択する。エントロピーに基づくサンプリングと自己蒸留を組み合わせることで、単一およびマルチモダリティの予測を一致させ、VQA-v2ではラベル付けコストを約30％削減する。また、VizWiz や VQA-CP2 を含む複数のデータセットで、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Constructing a large-scale labeled dataset in the real world, especially for high-level tasks (eg, Visual Question Answering), can be expensive and time-consuming. In addition, with the ever-growing amounts of data and architecture complexity, Active Learning has become an important aspect of computer vision research. In this work, we address Active Learning in the multi-modal setting of Visual Question Answering (VQA). In light of the multi-modal inputs, image and question, we propose a novel method for effective sample acquisition through the use of ad hoc single-modal branches for each input to leverage its information. Our mutual information based sample acquisition strategy Single-Modal Entropic Measure (SMEM) in addition to our self-distillation technique enables the sample acquisitor to exploit all present modalities and find the most informative samples. Our novel idea is simple to implement, cost-efficient, and readily adaptable to other multi-modal tasks. We confirm our findings on various VQA datasets through state-of-the-art performance by comparing to existing Active Learning baselines.

研究の動機と目的

• 大規模なVQAデータセットのラベル付けにかかる高コストと非効率性を解消するため、必要なアノテーション数を削減すること。
• 既存のアクティブラーニング手法の限界を克服する。特に、マルチモダリティ設定においては、主に単一モダリティ入力を対象としている既存研究の傾向を改善すること。
• 画像と質問モダリティ間の相互情報量を効果的に活用して、ラベル付けに最も適したサンプルを特定する手法を開発すること。
• VQAにおけるサンプル取得を向上させるために、シンプルでコスト効率が良く、他のマルチモダリティタスクへも拡張可能なフレームワークを導入すること。
• SMEMを用いた選択的サンプリングが、全データセットで学習したモデルの性能を上回ることを実証し、データ量が多いほど性能が良いという仮定に疑問を呈すること。

提案手法

• 単一モダリティブランチ（画像専用および質問専用）からの予測のエントロピーを計算することで、情報量の多いサンプルを特定する不確実性に基づくサンプリング戦略として、単一モダリティ・エントロピー測度（SMEM）を提案する。
• 画像と質問の両方の入力を使用する「メイン」ブランチと、各モダリティごとの別々の単一モダリティブランチを備えたマルチブランチモデルアーキテクチャを導入する。
• 単一モダリティブランチの出力をメインのマルチモダリティブランチと一致させるために自己蒸留を適用し、サンプリングに用いる単一モダリティ予測の信頼性を向上させる。
• 単一モダリティとマルチモダリティの予測の乖離を、相互情報量の代理指標として用いる。高い乖離は、高い情報量の獲得を示す。
• サンプリング基準を単一モダリティ予測のエントロピーとして定式化することで、追加の推論ステップを必要とせず、効率的かつ不確実性に配慮した選択が可能になる。
• 各モダリティ（例：アクション認識におけるRGBと深度）を別々の入力ストリームとして扱うことで、フレームワークを非VQAタスクへ適応させ、NTU RGB+Dへの一般化を示している。

実験結果

リサーチクエスチョン

• RQ1 単一モダリティの予測から計算されたエントロピーが、マルチモダリティVQAにおいて最も情報量の多いサンプルを効果的に特定できるか？
• RQ2 単一モダリティブランチとマルチモダリティブランチの間で自己蒸留を適用することで、アクティブラーニングにおける不確実性推定の信頼性が向上するか？
• RQ3 SMEMは、多様なVQAデータセットにおいて、精度とラベル付け効率の両面で、既存のアクティブラーニングベースラインを上回ることができるか？
• RQ4 提案手法は、アクション認識などの他のマルチモダリティタスクへも一般化可能か？
• RQ5 SMEMを用いた選択的サンプリングにより、全データセットで学習したモデルの性能を上回ることができるか？

主な発見

• SMEMはVQA-v2において、ラベル付けコストを約30％削減しながら最先端の性能を達成し、ランダムサンプリングや多数のベースラインを大きく上回る。
• 挑戦的なVizWizデータセットでは、ほとんどのサンプリング段階で最高の性能を達成しており、VAAL や SRAAL といった最近の最先端手法をも上回っている。
• VQA-CP2では、すべてのベースライン（エントロピーおよびランダムを含む）を上回り、40万件のサンプルのサブセットで学習した場合でも、全データセットベースライン（39.91％）を上回る精度を達成している。
• 非VQAタスクに対しても効果的に一般化され、NTU RGB+Dアクション認識データセットにおいて、すべてのサンプリング段階で良好な性能を発揮している。
• 自己蒸留は単一モダリティ予測の一貫性を顕著に向上させ、より信頼性の高い不確実性推定と優れたサンプル取得を可能にした。
• 結果から、高品質で選択的なデータサンプリングが、全データセットで学習したモデルを上回る性能を達成できることを示しており、VQAにおけるデータスケールに関する従来の仮定に疑問を呈している。