[論文レビュー] Learning to reason over visual objects

Shanka Subhra Mondal, Taylor W. Webb+1 more|arXiv (Cornell University)|Mar 3, 2023

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

本論文は、複数のRPMに類似したベンチマークで最先端の性能を達成する一般用途の視覚的推論モデル、Slot Transformer Scoring Network (STSN) を提案する。STSNは、タスク固有の帰納的バイアスを含まない正確なオブジェクト中心の表現を活用することで、強力な一般化性能と抽象的視覚的推論を実現し、オブジェクト中心の処理がこのようなタスクにおける重要な帰納的バイアスであることを示している。

ABSTRACT

A core component of human intelligence is the ability to identify abstract patterns inherent in complex, high-dimensional perceptual data, as exemplified by visual reasoning tasks such as Raven's Progressive Matrices (RPM). Motivated by the goal of designing AI systems with this capacity, recent work has focused on evaluating whether neural networks can learn to solve RPM-like problems. Previous work has generally found that strong performance on these problems requires the incorporation of inductive biases that are specific to the RPM problem format, raising the question of whether such models might be more broadly useful. Here, we investigated the extent to which a general-purpose mechanism for processing visual scenes in terms of objects might help promote abstract visual reasoning. We found that a simple model, consisting only of an object-centric encoder and a transformer reasoning module, achieved state-of-the-art results on both of two challenging RPM-like benchmarks (PGM and I-RAVEN), as well as a novel benchmark with greater visual complexity (CLEVR-Matrices). These results suggest that an inductive bias for object-centric processing may be a key component of abstract visual reasoning, obviating the need for problem-specific inductive biases.

研究の動機と目的

• オブジェクト中心の視覚的表現が抽象的視覚的推論の一般用途の帰納的バイアスとして機能できるかどうかを調査すること。
• タスク固有のアーキテクチャ的帰納的バイアスを含まないモデルが、RPMに類似した推論タスクで先行手法を上回ることができるかどうかを評価すること。
• 高品質な再構成損失がオブジェクト中心の符号化と推論の一般化性能の向上に果たす役割を評価すること。
• より高い視覚的複雑性を想定した、新しいより複雑なベンチマーク、CLEVR-Matricesの開発と評価を行うこと。

提案手法

• モデルは、各画像パネルからK個のオブジェクトスロットをスロットアテンションを用いて抽出し、アノテーションなしのセグメンテーションでオブジェクト中心の符号化を実現する。
• 各画像パネルのスロットは、候補となる解答選択肢のスロットと連結され、トランスフォーマー推論モジュールのための系列を形成する。
• トランスフォーマーは各解答選択肢のスコアを生成し、最終的な予測はこれらのスコアのソフトマックスによって得られる。
• モデルは、推論精度のためのタスク損失とスロット品質のための再構成損失の両方を最小化するマルチタスク目的関数で訓練される。
• 再構成損失に高い重み（λ=1000）を設定することで、品質の高い、オブジェクト固有のスロット再構成が保証され、性能に不可欠である。
• アーキテクチャは、PGM、I-RAVEN、およびより高い視覚的複雑性を持つ新しいCLEVR-Matricesデータセットの3つのベンチマークで評価された。

Figure 1: Slot Transformer Scoring Network (STSN). STSN combines slot attention, an object-centric encoding method, and a transformer reasoning module. Slot attention decomposes each image panel into a set of $K$ slots, which are randomly initialized and iteratively updated through competitive atten

実験結果

リサーチクエスチョン

• RQ1 オブジェクト中心の符号化とトランスフォーマーのみを用いた一般用途のモデルが、抽象的視覚的推論タスクで最先端の性能を達成できるか？
• RQ2 タスク固有の帰納的バイアスを含まないオブジェクト中心の表現学習が、視覚的推論における一般化性能を向上させるか？
• RQ3 スロットベースの再構成の品質が推論性能と一般化にどのように影響するか？
• RQ4 オブジェクト中心の処理による性能向上は、視覚的複雑性の異なる複数のデータセットにわたり一貫しているか？

主な発見

• STSNは、タスク固有の帰納的バイアスを含まない先行手法を上回る、I-RAVENベンチマークで95.7%の最先端のテスト精度を達成した。
• PGMベンチマークでは97.8%の精度を達成し、標準的なRPMに類似したタスクにおいても強力な性能を示した。
• より複雑な新しいCLEVR-Matricesベンチマークでは、STSNは最先端の性能を達成し、視覚的複雑性の増加に対しても頑健であることを確認した。
• アブレーションスタディの結果、スロットアテンションを削除すると精度が71.0%に低下し、その中心的役割が明確になった。
• 再構成損失の重み（λ）を1000から1に低下させたところ、推論精度は95.7%から74.2%に低下し、高品質な再構成がオブジェクト中心学習にとって重要であることが確認された。
• モデルのスロット固有の再構成は、グランドトゥルースセグメンテーションがなくても、入力画像内の個々のオブジェクトとよく一致しており、効果的なオブジェクト中心処理が実現していることが確認された。

Figure 2: Example problem from our proposed CLEVR-Matrices dataset. Problems are governed by RPM-like problem structure, but with greater visual complexity (rendered using approach similar to CLEVR dataset (Johnson et al., 2017 ) ). This particular problem is an example of the ‘Location’ problem typ