[論文レビュー] Systematic Visual Reasoning through Object-Centric Relational Abstraction

Taylor W. Webb, Shanka Subhra Mondal+1 more|arXiv (Cornell University)|Jun 4, 2023

Data Visualization and Analytics被引用数 6

ひとこと要約

本稿では、視覚的推論における体系的汎化を達成するために、オブジェクト中心の表現学習と関係的抽象化を組み合わせたモデルであるObject-Centric Relational Abstraction (OCRA)を提案する。オブジェクトスロットを抽出し、ドット積を用いた関係演算子で対比較関係を計算し、トランスフォーマーで高次関係パターンをモデル化することで、複雑な視覚的タスク、特に視覚的複雑性が向上した新しいデータセット（CLEVR-ART）において、強力なベースラインを上回る性能を発揮し、未観測のオブジェクト構成へのゼロショット汎化が堅牢に実現されることを示した。

ABSTRACT

Human visual reasoning is characterized by an ability to identify abstract patterns from only a small number of examples, and to systematically generalize those patterns to novel inputs. This capacity depends in large part on our ability to represent complex visual inputs in terms of both objects and relations. Recent work in computer vision has introduced models with the capacity to extract object-centric representations, leading to the ability to process multi-object visual inputs, but falling short of the systematic generalization displayed by human reasoning. Other recent models have employed inductive biases for relational abstraction to achieve systematic generalization of learned abstract rules, but have generally assumed the presence of object-focused inputs. Here, we combine these two approaches, introducing Object-Centric Relational Abstraction (OCRA), a model that extracts explicit representations of both objects and abstract relations, and achieves strong systematic generalization in tasks (including a novel dataset, CLEVR-ART, with greater visual complexity) involving complex visual displays.

研究の動機と目的

• 少数の例から学習しても、新しい入力に対して体系的に汎化できない視覚的推論モデルのギャップを解消すること。
• オブジェクト中心の表現学習と強力な帰納的バイアスを持つ関係的抽象化を統合し、人間のような汎化を視覚的推論で実現すること。
• 事前セグメンテーションされたオブジェクトや正解アノテーションに依存せずに、複雑な複数オブジェクトの視覚的シーンに対して推論が可能なモデルを開発すること。
• オブジェクトスロット、関係埋め込み、高次関係モデリングの各コンポONENTの体系的汎化に果たす貢献の必要性を評価すること。
• モデルが未観測のオブジェクト形状や構成に対し、視覚的ノイズやゆがみの下でも効果的に汎化できることを示すこと。

提案手法

• OCRAは、入力画像からK個のオブジェクト中心の潜在表現をスロットアテンションにより抽出し、それぞれが因子化された特徴埋め込みと位置埋め込みを持つ。
• 関係埋め込みは、特徴埋め込みをドット積で結合し、位置埋め込みを加法的に組み込む関係演算子を用いて計算される。
• 関係埋め込みはトランスフォーマーのエンコーダーで処理され、高次関係構造をモデル化し、抽象的なルールを同定する。
• モデルは、分離可能な表現と関係的抽象化を促進するため、対照学習の目的関数を用いてエンドツーエンドで訓練される。
• 体系的汎化をテストするため、多様な形状と空間配置を含む視覚的複雑性が向上した、新しいデータセットCLEVR-ARTが導入される。
• アブレーションスタディは、スロットアテンション、関係的ボトルネック、因子化表現、および高次関係のためのトランスフォーマーの各コンポONENTの貢献を評価する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト中心の表現と関係的抽象化を同時に学習するモデルが、視覚的推論タスクで体系的汎化を達成できるか？
• RQ2 関係的ボトルネック機構は、未学習のオブジェクト構成へのゼロショット汎化にとってどれほど重要か？
• RQ3 オブジェクト中心処理と関係的抽象化を統合することで、先行手法と比較して複雑な視覚的推論タスクの性能が向上するか？
• RQ4 トランスフォーマーによる高次関係、およびドット積関係演算子といったアーキテクチャ的コンポONENTが汎化にどれほど貢献するか？
• RQ5 空間的ジャイターやノイズといった視覚的変化下で、モデルの性能はどの程度維持され、汎化の頑健性を保っているか？

主な発見

• OCRAは、m=95の一般化レジームにおけるRMTSタスクで85.31% ± 2.0のテスト精度を達成し、アブレーションモデルを著しく上回った。
• アブレーションスタディでは、スロットアテンションを削除すると性能が56.58% ± 3.1に低下し、オブジェクト中心の表現学習の必要性が示された。
• 関係的ボトルネックを除いたモデル（w/o Relational Bottleneck）はわずか63.62% ± 1.0の精度にとどまり、関係的抽象化の重要性が裏付けられた。
• ドット積を外積に置き換えると性能は62.84% ± 1.6に低下し、ドット積の帰納的バイアスが関係的汎化にとって不可欠であることが示された。
• 高次関係のためのトランスフォーマーを削除したモデル（w/o Transformer）は51.29% ± 0.2に低下し、複雑な関係パターンをモデル化することが不可欠であることが確認された。
• ドット積の代わりに学習可能なボトルネックを用いたモデルは50.70% ± 0.4にとどまり、ドット積の帰納的バイアスが単なる圧縮機構ではなく、本質的な役割を果たしていることが示された。