[論文レビュー] RAVEN: A Dataset for Relational and Analogical Visual rEasoNing

Chi Zhang, Feng Gao+3 more|arXiv (Cornell University)|Mar 7, 2019

Multimodal Machine Learning Applications参考文献 56被引用数 31

ひとこと要約

RAVEN は、構造的でルールベースの視覚的推論のアノテーションを備えた 70,000 問のレイテンス進歩行列問題からなる大規模データセットであり、視覚分野における機械的推論のベンチマークと向上を目的として設計されている。構造的表現を活用する新しいダイナミックリーマンツリー（DRT）モジュールを統合することで、モデルは一貫した性能向上を達成したが、抽象的・関係的推論タスクにおける人間と機械の間には顕著なギャップが残っている。

ABSTRACT

Dramatic progress has been witnessed in basic vision tasks involving low-level perception, such as object recognition, detection, and tracking. Unfortunately, there is still an enormous performance gap between artificial vision systems and human intelligence in terms of higher-level vision problems, especially ones involving reasoning. Earlier attempts in equipping machines with high-level reasoning have hovered around Visual Question Answering (VQA), one typical task associating vision and language understanding. In this work, we propose a new dataset, built in the context of Raven's Progressive Matrices (RPM) and aimed at lifting machine intelligence by associating vision with structural, relational, and analogical reasoning in a hierarchical representation. Unlike previous works in measuring abstract reasoning using RPM, we establish a semantic link between vision and reasoning by providing structure representation. This addition enables a new type of abstract reasoning by jointly operating on the structure representation. Machine reasoning ability using modern computer vision is evaluated in this newly proposed dataset. Additionally, we also provide human performance as a reference. Finally, we show consistent improvement across all models by incorporating a simple neural module that combines visual understanding and structure reasoning.

研究の動機と目的

• 人工知能における高レベルの認知的推論を支援する、構造的でルールベースの視覚的推論データセットの不足に対処すること。
• 構造的およびルールレベルの明示的アノテーションを備えたデータセットを導入することで、抽象的視覚的タスクにおける機械的推論と人間的推論のギャップを埋めること。
• 新規なニューラルモジュール（DRT）を用いて、構造的推論と視覚的認識を統合する有効性を評価すること。
• 人間の性能を同じ推論タスクでベンチマーク化し、機械知能の強力なベースラインを確立すること。
• 視覚的構成やルールの組み合わせの多様性にわたる一般化の可能性を調査すること。

提案手法

• RAVEN データセットは、視覚的要素とルールを構造的表現に体系的に符号化するための属性付き確率的画像文法（A-SIG）を用いて生成された。
• 各問題には、オブジェクトと属性の間の階層的関係を捉えるために、16つの木構造アノテーションが画像ごとに付与されている。
• 形状、色、位置などの5つのルール支配的属性が定義されており、それぞれが4つの可能なルールを有することで、複雑な合成的推論が可能になる。
• 視覚的特徴と構造的表現を同時に処理するためのダイナミックリーマンツリー（DRT）モジュールが提案され、構造的データに対するリーマン学習により推論性能が向上する。
• 空間配置の多様性をテストするため、7つの異なる図形配置（例：Center、Left-Right、2x2Grid）が含まれている。
• モデルは、配置間でのゼロショット一般化プロトコルを用いて訓練および評価され、合成的推論と転送可能性の評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 構造的視覚的表現は、レイテンス進歩行列のような抽象的視覚的タスクにおける機械的推論を顕著に改善できるか？
• RQ2 DRT を用いた構造的推論の統合は、標準的な視覚モデルと比較して、モデル性能にどのように影響を与えるか？
• RQ3 再トレーニングなしで、異なる空間配置（例：2x2Grid から 3x3Grid）にわたって一般化できる範囲はどの程度か？
• RQ4 最先端モデルと人間被験者との間の RAVEN ベンチマーク上での性能ギャップはどの程度か？
• RQ5 補助的トレーニングやデータ拡張は、この構造的推論ベンチマークにおける推論性能を向上させるか？

主な発見

• ResNet+DRT モデルは Center の配置で 51.87% の精度を達成し、構造的推論を含まないモデルを上回った。
• 未観測の配置（例：Left-Right、Up-Down、Out-InCenter）への一般化では一貫した性能向上が見られ、それぞれ精度が 40.03% および 35.46% に低下した。これは、リーマン学習による推論能力の存在を示唆している。
• 複数の配置でトレーニングされたモデルは、単一の配置でのみトレーニングされたモデルよりも優れた性能を示し、推論一般化のためのデータセットの多様性の価値を示した。
• Left-Right と Up-Down の配置間での転送性は強く、それぞれ 41.07% および 43.60% のテスト精度を示し、空間変換に対して頑健であることを示唆した。
• 3x3Grid から 2x2Grid への一般化では 43.72% の精度を達成し、2x2Grid 専用にトレーニングされたモデルの 40.93% よりもわずかに優れていた。これは、より大きな配置が、より小さな配置を暗黙的に捉えている可能性を示唆している。
• 人間の性能は、強化されたトレーニングを経ても、機械の性能を大きく上回っており、抽象的・関係的推論における持続的なギャップが浮き彫りになった。