[論文レビュー] Supervising the Transfer of Reasoning Patterns in VQA

Corentin Kervadec, Christian Wolf+3 more|arXiv (Cornell University)|Jun 10, 2021

AI-based Problem Solving and Planning参考文献 41被引用数 5

ひとこと要約

本論文は、完璧な（オラクル）視覚入力で訓練されたモデルから、ノイズのある入力を持つ現実世界のVQAモデルへと、推論パターンを転移するプログラム監視手法を提案する。推論プログラムを予測するための正則化項を損失関数に追加することで、推論一般化性能が向上し、理論的にもサンプルの複雑さが低減され、GQAで最先端の性能を達成する。特に、分布外および末尾の正答率セットにおいて、限られた学習データでも顕著な性能向上を示す。

ABSTRACT

Methods for Visual Question Anwering (VQA) are notorious for leveraging dataset biases rather than performing reasoning, hindering generalization. It has been recently shown that better reasoning patterns emerge in attention layers of a state-of-the-art VQA model when they are trained on perfect (oracle) visual inputs. This provides evidence that deep neural networks can learn to reason when training conditions are favorable enough. However, transferring this learned knowledge to deployable models is a challenge, as much of it is lost during the transfer. We propose a method for knowledge transfer based on a regularization term in our loss function, supervising the sequence of required reasoning operations. We provide a theoretical analysis based on PAC-learning, showing that such program prediction can lead to decreased sample complexity under mild hypotheses. We also demonstrate the effectiveness of this approach experimentally on the GQA dataset and show its complementarity to BERT-like self-supervised pre-training.

研究の動機と目的

• データセットバイアスおよび視覚入力のノイズによるVQAモデルの一般化性能の低さを是正すること。
• オラクル（完璧な）視覚入力で学習された推論能力を、現実世界のノイズのある視覚表現で学習するモデルへと転移すること。
• 推論プログラムの構造的監視を通じて、推論タスクにおけるサンプルの複雑さを低減すること。
• VQAにおける分布外およびレアな回答カテゴリの性能向上を図ること。
• BERTに類似した自己教師付き事前学習法と併用可能であることを示すこと。

提案手法

• 推論プログラム（操作の系列）の予測をアンサー予測と併せて行うための補助損失を追加するプログラム監視モジュールを導入する。
• クリーンな入力からノイズのある入力への転移中に推論パターンの一貫性を保つために、損失関数に正則化項を用いる。
• 複雑な推論関数をより単純で学習可能な成分（モード選択子と個々のモード関数）に分解することで、学習を容易にする。
• より良い入力表現を得るために、Faster R-CNNまたはより高精度なVinVLモデルからの視覚特徴を用いた視覚言語トランスフォーマーを採用する。
• 理論的分析では、PAC学習を用いて、プログラム監視が弱い仮定のもとでサンプルの複雑さを低減できることを示す。
• GQAデータセットにプログラムアノテーションを適用し、オラクルで訓練されたモデルから現実世界の展開へと転移を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オラクル入力からノイズのある現実世界の入力への推論パターンの転移において、推論プログラムの予測を監視することで、性能が向上するか？
• RQ2 理論的分析が示唆するように、プログラム監視は視覚推論タスクにおけるサンプルの複雑さを低減するか？
• RQ3 BERTのような標準的な事前学習手法と比較して、プログラム監視は分布内および分布外データにおける性能と耐性にどのように影響するか？
• RQ4 より良い視覚入力表現（例：より多くのオブジェクト候補やより良い特徴）を活用するのに、プログラム監視は有効か？
• RQ5 プログラム監視は、VQAにおけるレアまたは末尾の回答カテゴリにおける性能向上にどの程度寄与するか？

主な発見

• 提案手法は、GQAテスト-stdセットで63.0%の正答率を達成し、追加の学習データを使用しない手法の中で2位の成績を収めた。
• GQA-OODの末尾セットでは80.1%の正答率を達成し、2番目の成績であり、SOTAモデルと比較して顕著に少ないパラメータ数（26M vs 212M）で実現した。
• 0.1M枚の画像と100万文の文での学習のみで、570万枚の画像で学習されたモデル（例：OSCAR+VinVL）を上回り、GQAで64.7%の正答率を達成した。データ量は50分の1にまで低減された。
• プログラム監視により、より良い視覚入力表現の活用が可能になった：オブジェクト候補数を36から100に増やすと性能が向上したが、ベースラインは変化しなかった。
• 珍しい回答（acc-tail）および代表的な回答（acc-head）の両方で一般化性能が向上し、分布シフトに対して高い耐性を示した。
• 理論的分析により、弱い仮定のもとでプログラム監視がサンプルの複雑さを低減できることを確認し、実験的有効性を裏付けた。