[論文レビュー] How to Design Sample and Computationally Efficient VQA Models

Karan Samel, Zelin Zhao+4 more|arXiv (Cornell University)|Mar 22, 2021

Multimodal Machine Learning Applications参考文献 18被引用数 4

ひとこと要約

本稿では、視覚に対してオブジェクトレベルのシーングラフを、言語に対して確率的プログラムを用いることで、ソフト論理推論を伴うエンド・ツー・エンド微分可能訓練が可能な、サンプルおよび計算効率に優れたVQAモデルDePeを提案する。DePeは、特に低データ環境下において、従来手法と比較して顕著に優れたサンプル効率と計算効率を達成しながら、最先端の精度を実現した。

ABSTRACT

In multi-modal reasoning tasks, such as visual question answering (VQA), there have been many modeling and training paradigms tested. Previous models propose different methods for the vision and language tasks, but which ones perform the best while being sample and computationally efficient? Based on our experiments, we find that representing the text as probabilistic programs and images as object-level scene graphs best satisfy these desiderata. We extend existing models to leverage these soft programs and scene graphs to train on question answer pairs in an end-to-end manner. Empirical results demonstrate that this differentiable end-to-end program executor is able to maintain state-of-the-art accuracy while being sample and computationally efficient.

研究の動機と目的

• VQAにおける視覚、言語、推論の各コンponentについて、最もサンプルおよび計算的に効率的な組み合わせを同定すること。
• マルチモodal推論におけるニューラルモデルと記号的モデルの神経記号的トレードオフを調査すること。
• 効率性を向上させるために最も効率的なコンponentを統合した統一VQAモデルを設計すること。
• 特にサンプル効率の観点から、低データ監視下での提案モデルのパフォーマンスを評価すること。

提案手法

• 視覚的関係を構造化して捉えるために、画像をオブジェクトレベルのシーングラフとして表現する。これにより解釈可能性と効率性が向上する。
• 言語的質問を確率的プログラム（ソフトプログラム）として表現することで、記号的演算における微分可能推論を可能にする。
• 推論にソフト論理ブロックを用いることで、視覚的および言語的表現上でプログラムの微分可能実行を可能にする。
• 強化学習や離散的サンプリングを回避するため、標準的なバックプロパゲーションを用いてモデル全体をエンド・ツー・エンドで訓練する。
• シーングラフとソフトプログラムを統合的に処理できる微分可能プログラム実行エンジンを介して、視覚、言語、推論コンponentを統合する。
• 低データスケール（0.1%および1%）において、オブジェクトおよびプログラム特徴（OおよびFP）に対する直接的監視を活用し、サンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 VQAにおける視覚、言語、推論コンponentのどの組み合わせが、サンプルおよび計算的効率のバランスを最も良く実現するか？
• RQ2 エンド・ツー・エンド微分可能訓練は、強化学習や帰納的最適化（abduction-based optimization）と比較して、効率性および精度の面でどのように異なるか？
• RQ3 確率的プログラムとオブジェクトレベルのシーングラフを併用することで、モデルのパフォーマンス向上に寄与するとともに、データおよび計算リソースの要件を低減できるか？
• RQ4 特にアノテーションの0.1%しか使用しないような低データ環境下で、モデルの性能はいかがなっているか？

主な発見

• DePeは、全VQAデータセット（100%データ）で99.0%の精度を達成し、0.1%の監視データでも98.0%の精度を示した。これは、低データ条件下で多数のベースラインを上回った。
• 10%のデータで98.0%の精度を達成し、NS-VQA（92.1%）やTbD（54.2%）といったモデルを上回った。これは、DePeの優れたサンプル効率を示している。
• DePeの計算的効率は、REINFORCEを用いるNS-CLと比較して顕著に高い。収束までに多くのイテレーションを要するが、DePeはその点で優れている。
• Stack-NMNおよびProb-NMNは低データ条件下で良好なパフォーマンスを示したが、オブジェクトおよびプログラム特徴への直接的監視が適用された場合、DePeに劣った。
• 高価な離散的サンプリングや帰納的推論に依存することなく、最先端の精度を維持しながら、収束を高速化できる。
• DePeのエンド・ツー・エンド微分可能訓練フレームワークにより、離散的推論モデル（例：NS-VQA）で見られる高い分散を伴わない安定した最適化が可能になった。