[論文レビュー] A Comparative Evaluation of Approximate Probabilistic Simulation and Deep Neural Networks as Accounts of Human Physical Scene Understanding

Renqiao Zhang, Jiajun Wu+3 more|arXiv (Cornell University)|May 4, 2016

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 27

ひとこと要約

この論文は、人間の物理的状況理解をモデル化するための近似確率的シミュレーション（直感的物理エンジン、IPE）と深層畳み込みニューラルネットワーク（CNN）を比較している。両者とも安定性予測タスクで高い精度を達成するが、IPEのみが新しい構成に効果的に一般化し、人間らしい判断の非対称性や体系的な知覚的錯覚を再現している。

ABSTRACT

Humans demonstrate remarkable abilities to predict physical events in complex scenes. Two classes of models for physical scene understanding have recently been proposed: "Intuitive Physics Engines", or IPEs, which posit that people make predictions by running approximate probabilistic simulations in causal mental models similar in nature to video-game physics engines, and memory-based models, which make judgments based on analogies to stored experiences of previously encountered scenes and physical outcomes. Versions of the latter have recently been instantiated in convolutional neural network (CNN) architectures. Here we report four experiments that, to our knowledge, are the first rigorous comparisons of simulation-based and CNN-based models, where both approaches are concretely instantiated in algorithms that can run on raw image inputs and produce as outputs physical judgments such as whether a stack of blocks will fall. Both approaches can achieve super-human accuracy levels and can quantitatively predict human judgments to a similar degree, but only the simulation-based models generalize to novel situations in ways that people do, and are qualitatively consistent with systematic perceptual illusions and judgment asymmetries that people show.

研究の動機と目的

• 人間の物理的状況理解を説明するための、シミュレーションベース（IPE）とメモリベース（CNN）のモデルを厳密に比較すること。
• 深層ニューラルネットワークが、直感的物理における人間らしい一般化と判断パターンを説明できるかどうかを評価すること。
• CNNが物理的状況における小さな構造的変化の間で知識を転送する際の限界を調査すること。
• IPEが、判断の非対称性や体系的な誤りといった、人間の定性的な知覚的現象をよりよく捉えているかどうかを評価すること。
• 現在のCNNアーキテクチャが、人間の物理的直感の背後にある因果的メンタルモデルを反映しているかどうかを特定すること。

提案手法

• ニュートン力学とノイズを用いて不確実性をモデル化することで、ブロックの運動を近似的に確率的シミュレーションする具体的なIPEモデルを実装した。
• 安定性のラベルが付与されたブロック積みの合成データセットを用いて、複数のCNNアーキテクチャ（LeNet、AlexNet）を訓練した。
• ImageNetの事前学習重み（P）を用い、合成ブロックシーンで微調整することで一般化を向上させた。
• ブロックの数を変化させた（3、4、5個）転移学習タスクを評価し、学習分布を超えた一般化をテストした。
• 同じ刺激に対して人間の判断を収集し、モデルの性能を人間の直感と比較した。
• 安定性予測の精度と人間の反応との相関を用いて、モデルの性能を定量化した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、静的画像からの物理的安定性予測において人間水準の精度を達成できるか？
• RQ2 CNNは、異なるブロック数などの新しい物理的構成に、人間の一般化様式を模倣する形で一般化できるか？
• RQ3 CNNは、物理的推論における体系的な人間の知覚的錯覚や判断の非対称性を再現できるか？
• RQ4 IPEモデルは、フィードフォワードニューラルネットワークよりも、人間の物理的直感の定性的構造をよりよく捉えているか？
• RQ5 IPEは、再訓練なしに、さまざまなシーンの複雑さの変化に対応して人間のパフォーマンスを説明できるか？

主な発見

• CNNは、20万枚の画像で学習した場合、4ブロック安定性タスクで特権的精度（約89–95％）を達成した。
• 3ブロックおよび5ブロックの構成では、4ブロックのデータで学習したCNNは運任せの水準（約50％）にとどまり、ゼロショット一般化が著しく劣っていた。
• ImageNetの事前学習でさえ、AlexNetの未学習のブロック数（3または5個）でのパフォーマンスは低く（例：3ブロックで51.0％、5ブロックで78.5％）、転送性が限定的であることが示された。
• IPEモデルは、ブロック数の変化に伴い、人間の傾向と同様に滑らかに一般化が行われ、性能低下が徐々に進行した。
• 人間のパフォーマンス（平均68.0％）はCNNよりも構成間で一貫しており、IPEの予測とよりよく一致していた。
• 唯一、IPEモデルが、構造的複雑さや不安定性の兆候への感受性といった、体系的な人間らしい判断の非対称性や知覚的錯覚を捉えていた。