[論文レビュー] GAMR: A Guided Attention Model for (visual) Reasoning

Mohit Vaishnav, T. Serre|arXiv (Cornell University)|Jun 10, 2022

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

GAMRは、LSTMコントローラーを用いてタスク関連の情報をメモリーバンクにルーティングすることで、視覚的シーン全体にわたり動的に注目をシフトさせるガイド付きアテンション機構を提案する。この機構により、視覚的推論タスクにおけるロバストでサンプル効率の高い学習が可能となり、SVRTおよびARTベンチマークで最先端の性能を達成するとともに、学習済みの演算を再結合することで強力なゼロショット一般化を示す。

ABSTRACT

Humans continue to outperform modern AI systems in their ability to flexibly parse and understand complex visual scenes. Here, we present a novel module for visual reasoning, the Guided Attention Model for (visual) Reasoning (GAMR), which instantiates an active vision theory -- positing that the brain solves complex visual reasoning problems dynamically -- via sequences of attention shifts to select and route task-relevant visual information into memory. Experiments on an array of visual reasoning tasks and datasets demonstrate GAMR's ability to learn visual routines in a robust and sample-efficient manner. In addition, GAMR is shown to be capable of zero-shot generalization on completely novel reasoning tasks. Overall, our work provides computational support for cognitive theories that postulate the need for a critical interplay between attention and memory to dynamically maintain and manipulate task-relevant visual information to solve complex visual reasoning tasks.

研究の動機と目的

• アクティブビジョンを模倣するニューラルアーキテクチャの開発を目的とし、タスク関連の視覚的要素に動的に注目を向けること。
• タスク依存のアテンションとメモリルーティングを統合することで、視覚的推論におけるサンプル効率の向上を図ること。
• 事前に学習した基本的な演算を再利用することで、微調整なしに新しい推論タスクに一般化できることを実現すること。
• 注目と記憶の相互作用が視覚的推論に与える役割を支持する計算的根拠を提供すること。
• SVRTおよびARTなどの標準的な視覚的推論ベンチマークで、既存の最先端モデルを上回ること。

提案手法

• モデルは、インスタンス正規化を施した5つの畳み込みブロックを用いたビジョンエンコーダーにより、画像表現を抽出する。
• LSTMベースのコントローラーが各タイムステップで内部クエリを生成し、現在の注目状態に基づいてアテンションシフトを誘導する。
• ガイド付きアテンションモジュールは、コントローラーが生成したクエリに基づき、関連する視覚的特徴を選択・ゲーティングしてメモリーバンクに格納する。
• 関係性推論モジュールは、格納されたメモリ表現を処理し、関係性を推論して推論タスクを解く。
• 全アーキテクチャは、微分可能アテンションルーティング機構を備えたエンドツーエンドで訓練可能である。
• 説明可能性手法を用いてアテンションパターンを分析し、構成的推論戦略の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、視覚的推論性能を向上させるために、タスク依存の動的注目シフトを学習できるか？
• RQ2 内部コントローラーとメモリルーティングを統合することで、視覚的推論タスクにおけるサンプル効率が向上するか？
• RQ3 微調整なしに、新しい推論タスクに一般化できるか、すなわちゼロショット一般化が実現できるか？
• RQ4 複雑な関係的タスクにおける、モデルの注目行動は人間の視覚的ルーチンに類似しているか？
• RQ5 ベースラインと比較して、分布シフトやノイズの下でも、このアーキテクチャはどれほどロバスト性を維持できるか？

主な発見

• GAMRは、合成視覚的推論テスト（SVRT）および抽象的推論タスク（ART）ベンチマークの両方で最先端の性能を達成した。
• モデルは、再訓練なしに共通の抽象的ルールを共有するタスク間で知識を転送する強力なゼロショット一般化を示した。
• ノイズや分布シフト（たとえば、ずれた形状）の下でもGAMRは高い正確性を維持したが、ESBNなどのベースラインは著しく性能を低下させた。
• 説明可能性解析により、モデルはタスクに応じて関連する視覚的要素に注目する能力を学習していることが裏付けられた。
• GAMRは極めて少ないデータで高い性能を達成し、500サンプルの学習データでも複雑な関係的ルールをデータ効率よく学習できた。
• ESBNのようなオブジェクト中心モデルとは異なり、GAMRは形状が個別のフレームに分離されている場合でも、空間的関係的ルールを正しく学習できた。