[論文レビュー] Probing Physics Knowledge Using Tools from Developmental Psychology

Luis Piloto, Ari Weinstein+7 more|arXiv (Cornell University)|Apr 3, 2018

Science Education and Pedagogy参考文献 1被引用数 19

ひとこと要約

本論文は、発達心理学における予期しない出来事の違反（VOE）パラダイムを、人工知能システムにおける直感的物理学の知識を調査する新しい手法として導入する。物理的原則（例えば、物体の持続性や剛体性）に反する手続き的生成された刺激を用い、KLダイバージェンスを用いてモデルの驚きを測定することで、標準的なメモリ拡張RNNが基本的な物理的概念を習得できることを示し、今後のAIの物理学理解に関する研究のベンチマークを確立する。

ABSTRACT

In order to build agents with a rich understanding of their environment, one key objective is to endow them with a grasp of intuitive physics; an ability to reason about three-dimensional objects, their dynamic interactions, and responses to forces. While some work on this problem has taken the approach of building in components such as ready-made physics engines, other research aims to extract general physical concepts directly from sensory data. In the latter case, one challenge that arises is evaluating the learning system. Research on intuitive physics knowledge in children has long employed a violation of expectations (VOE) method to assess children's mastery of specific physical concepts. We take the novel step of applying this method to artificial learning systems. In addition to introducing the VOE technique, we describe a set of probe datasets inspired by classic test stimuli from developmental psychology. We test a baseline deep learning system on this battery, as well as on a physics learning dataset ("IntPhys") recently posed by another research group. Our results show how the VOE technique may provide a useful tool for tracking physics knowledge in future research.

研究の動機と目的

• 標準的な予測精度を超えた、直感的物理学の知識を有する人工エージェントの評価手法を開発すること。
• 発達心理学で乳児の物理的推論を研究するために用いられる、予期しない出来事の違反（VOE）パラダイムを、AIシステム向けの定量的プローブに適応すること。
• 古典的な発達心理学実験を模倣した手続き的生成データセットのバッテリーを構築し、特定の物理的概念をテストすること。
• これらのプローブに対して標準的なディープラーニングモデルをベンチマーク化し、その基本的な物理的原則の学習能力を評価すること。
• 心理的インスピレーションに基づく評価手法を通じて、直感的物理学の学習を促進する基盤を確立すること。

提案手法

• 発達心理学におけるVOEパラダイムを採用し、モデルの驚きを、観察後の事後信念と事前予測との間のKullback-Leibler（KL）ダイバージェンスとして測定する。
• 遮蔽、包含、継続性の違反など、古典的な発達心理学実験を模倣した合成ビデオ刺激を生成する。
• 視覚的系列を処理し、事後信念を計算するためのベースラインモデルとして、メモリ拡張型変分再帰ニューラルネットワーク（VRNN）を用いる。
• 潜在変数上の事前分布と事後分布のKLダイバージェンスとして驚きを測定し、人間の研究における注視時間に基づく驚き指標と関連付ける。
• 物体の持続性、不変性、継続性、剛体性、包含性といった特定の物理的概念をターゲットとするプローブデータセットを設計する。
• 自然主義的ビデオデータでモデルを学習させ、動的で視覚的に多様な未観測刺激への一般化性能をテストする。

実験結果

リサーチクエスチョン

• RQ1 VOE手法は、物体の持続性や剛体性といった特定の物理的概念を学習しているかどうかを効果的に検出できるか？
• RQ2 物理的インダクティブバイアスを内蔵しない一般的なディープラーニングモデルが、視覚的観察のみで直感的物理学の知識を習得できる程度はどの程度か？
• RQ3 VOEプローブにおけるモデルのパフォーマンスは、IntPhysのような標準的な物理予測ベンチマークと比べてどの程度か？
• RQ4 KLダイバージェンスは、人間の注視時間と類似した人工系における「驚き」の信頼できる代理指標として機能できるか？
• RQ5 標準的なディープラーニングアーキテクチャは、生の視覚データから基本的な物理的原則を学習する際に、どのような限界を示すか？

主な発見

• メモリ拡張型VRNNベースラインモデルは、物体の持続性や剛体性といったコアな物理的概念の理解を示す、測定可能な驚き反応を示した。
• 物理法則に反する刺激に対して、制御刺激よりも予測される驚き（KLダイバージェンス）が長く続いたため、VOEフレームワークが有効な評価ツールであることが裏付けられた。
• VOEプローブバッテリーにおけるパフォーマンスは、IntPhys物理予測ベンチマークより低かったため、予測精度と概念的理解が完全に一致しない可能性があることが示された。
• 結果から、標準的なディープラーニングモデルが物理的インダクティブバイアスを明示的に持たなくても、視覚データから基本的な物理的原則を学習できることを示唆しているが、パフォーマンスは依然として限定的である。
• 高い予測精度が概念的理解を保証するわけではないことが明らかになった。モデルは定性的な推論ではなく、定量的な推論によって高い精度を達成している可能性がある。
• 本フレームワークにより、個々の物理的概念の習得状況を分離して測定する道筋が示され、エンドツーエンドの予測精度よりも解釈可能性の高い評価が可能になる。