[論文レビュー] Attention over learned object embeddings enables complex visual reasoning

Xin Ding, Felix Hill+3 more|arXiv (Cornell University)|Dec 15, 2020

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

この論文では、学習されたオブジェクト埋め込みにおける自己注意と自己教師付きダイナミクス学習を組み合わせることで、複雑な視覚的推論タスクで最先端の性能を達成するニューラルネットワークモデルAloeを紹介する。モデルはCLEVRER、CATER、ACREの3つのベンチマークドメインにおいて、モジュラ型の神経記号的システムおよび先行するニューラルネットワークを上回り、タスク固有の変更なしにエンドツーエンド学習とソフトな帰納的バイアスを組み合わせることで、専用アーキテクチャを凌駕するか同等の性能を発揮することを示している。

ABSTRACT

Neural networks have achieved success in a wide array of perceptual tasks but often fail at tasks involving both perception and higher-level reasoning. On these more challenging tasks, bespoke approaches (such as modular symbolic components, independent dynamics models or semantic parsers) targeted towards that specific type of task have typically performed better. The downside to these targeted approaches, however, is that they can be more brittle than general-purpose neural networks, requiring significant modification or even redesign according to the particular task at hand. Here, we propose a more general neural-network-based approach to dynamic visual reasoning problems that obtains state-of-the-art performance on three different domains, in each case outperforming bespoke modular approaches tailored specifically to the task. Our method relies on learned object-centric representations, self-attention and self-supervised dynamics learning, and all three elements together are required for strong performance to emerge. The success of this combination suggests that there may be no need to trade off flexibility for performance on problems involving spatio-temporal or causal-style reasoning. With the right soft biases and learning objectives in a neural network we may be able to attain the best of both worlds.

研究の動機と目的

• 視覚的シーンにおける空間的・時間的・因果的ダイナミクスの推論に関して、純粋なニューラルネットワークの限界を克服すること。
• 新しいタスクに対応するための再設計を要する、モジュラ型でタスク特化された神経記号的システムの脆さを克服すること。
• ピクセル入力から説明的・予測的・反事実的推論を可能にする汎用的でエンドツーエンドのニューラルネットワークアプローチを開発すること。
• 学習されたオブジェクト中心の表現における自己注意と自己教師付き学習が、記号的コンponentsなしで強力な推論を可能にするかを調査すること。
• 統一されたアーキテクチャが、多様な推論ドメインにおいてタスク特化型モデルを上回ることを実証すること。

提案手法

• モデルは動画フレームの学習されたオブジェクト中心の表現を用い、物理的オブジェクトに対応する離散的エンティティを抽出する。
• 時間経過にわたるこれらのオブジェクト埋め込みに対して、マルチヘッド自己注意を適用し、ダイナミックな相互作用を統合・推論する。
• 自己教師付き補助損失により、オブジェクト状態をマスキングして予測させることで、意味のあるダイナミクスと表現の発見を促進する。
• タスク固有のモジュールや手動でコーディングされた記号論理を一切使用せずに、ピクセル入力からエンドツーエンドで訓練する。
• オブジェクト埋め込みは教師なしインスタンスセグメンテーションヘッドを介して得られ、教師ありオブジェクト検出に依存しない。
• 推論の正確性とオブジェクト状態のマスキング再構成を同時に最適化することで、内部のダイナミクスモデルの強靭性を高める。

実験結果

リサーチクエスチョン

• RQ1 統一されたニューラルネットワークアーキテクチャは、複雑な視覚的推論タスクにおいて、タスク特化型のモジュラ型システムを上回ることができるか？
• RQ2 学習されたオブジェクト埋め込みにおける自己注意は、空間的・時間的・因果的推論タスクにおいて効果的な推論を可能にするか？
• RQ3 オブジェクトダイナミクスの自己教師付き学習は、ラベル付きデータが限られた推論ベンチマークで性能を向上させることができるか？
• RQ4 オブジェクト中心の表現、自己注意、自己教師付き学習の組み合わせが、高い性能を発揮するために不可欠であるか？
• RQ5 完全にニューラル的なアプローチは、記号的コンponentsが欠如しているにもかかわらず、反事実的および因果的推論タスクで最先端の結果を達成できるか？

主な発見

• CLEVRERでは、Aloeは反事実的質問に対して75%の正確度を達成し、以前の最良手法の46%を著しく上回った。
• ACREでは、Aloeは「バックワードブロッキング」推論で94.48%、「スクリーンオフ」推論で98.97%の正確度を達成し、最良の神経記号的モデルの16.06%および0.00%を大きく上回った。
• AloeはCLEVRERで40%少ない学習データで、最良の先行モデルと同等の性能を達成し、高いデータ効率を示した。
• Aloeは、アーキテクチャの変更やタスク固有のコンponentsなしに、CLEVRER、CATER、ACREのすべてのドメインで最先端の結果を達成した。
• アブレーションスタディにより、オブジェクト中心の表現、自己注意、自己教師付き学習の3つのコンポONENTが強力な性能を発揮するために不可欠であることが確認された。
• Aloeは、以前のニューラルネットワークおよび専用の神経記号的モデルを上回り、ソフトな帰納的バイアスが記号的推論と同等の有効性を発揮できることを示した。