[論文レビュー] Learning Physical Intuition of Block Towers by Example

Adam Lerer, Sam Gross+1 more|arXiv (Cornell University)|Mar 3, 2016

Human Pose and Action Recognition参考文献 25被引用数 80

ひとこと要約

本稿では、3次元物理エンジンから生成された合成データを用いて、ブロック積みの安定性および力学的挙動に関する物理的直感を学習する深層学習手法を提案する。シミュレートされたブロック積みの崩壊を学習した畳み込みニューラルネットワークは、安定性とブロックの軌道予測において人間水準の性能を達成し、実世界の画像および未学習の構成へも効果的に一般化する。

ABSTRACT

Wooden blocks are a common toy for infants, allowing them to develop motor skills and gain intuition about the physical behavior of the world. In this paper, we explore the ability of deep feed-forward models to learn such intuitive physics. Using a 3D game engine, we create small towers of wooden blocks whose stability is randomized and render them collapsing (or remaining upright). This data allows us to train large convolutional network models which can accurately predict the outcome, as well as estimating the block trajectories. The models are also able to generalize in two important ways: (i) to new physical scenarios, e.g. towers with an additional block and (ii) to images of real wooden blocks, where it obtains a performance comparable to human subjects.

研究の動機と目的

• 教師あり物理的知識なしに、深層順方向ネットワークがブロック積みの安定性および力学的挙動に関する直感的物理的推論を学習できるかを調査すること。
• 訓練済みモデルの、木製ブロックの実世界画像およびトレーニング時に見なかった新しい物理的構成への一般化性能を評価すること。
• 身体的推論タスクのための、スケーラブルでエンドツーエンドのフレームワークを構築すること。
• 合成データおよび実世界データにおいて、人間被験者と比較してモデルの性能を評価し、人間水準の物理的直感を達成しているかを検証すること。

提案手法

• ランダムに設定された物理的パrameter（例：ブロックの位置、質量、摩擦係数）を用いて、Unreal Engine 4 を用いて合成ブロック積みデータを生成し、安定および崩壊する構成をシミュレートする。
• 3次元ゲームエンジンが初期状態および最終状態のブロック積みの画像をレンダリングし、安定性（2値分類）およびブロックの軌道（インスタンスセグメンテーションマスク）をラベルとして付与する。
• 大規模な畳み込みニューラルネットワーク（GoogLeNet、ResNet、PhysNet）を、これらの合成画像に対してエンドツーエンドで訓練し、安定性とブロック位置を予測する。
• 実世界のブロック画像を用いて微調整することで、実視覚ドメインへのゼロショット一般化性能を向上させる。
• Torch深層学習フレームワークをUE4のゲームループに統合することで、リアルタイムの相互作用とデータ生成を可能にする。
• モデルの一般化性能を評価するために、ブロック数のサブセット（例：3ブロックの積み木を除く）で学習し、保留された構成でテストする。

実験結果

リサーチクエスチョン

• RQ1 物理的ルールを明示的に与えずに、ピクセルレベルの入力からのみ、純粋にボトムアップな深層学習モデルがブロック積みの物理的安定性を予測できるか？
• RQ2 このようなモデルは、トレーニング時に見なかった新しい物理的構成（例：異なるブロック数）および実世界の木製ブロックの画像へ、どの程度一般化できるか？
• RQ3 学習された表現は、軌道予測の根拠として、運動量や加速度といった動的物理的概念をどの程度的確に捉えているか？
• RQ4 実世界データにおいて、人間被験者との精度および人間の判断との相関性を比較した場合、モデルの性能はどの程度か？
• RQ5 合成シミュレーションに基づくトレーニングフレームワークは、視覚モデルにおける有効な物理的推論を可能にするか？そのアプローチの限界は何か？

主な発見

• GoogLeNetおよびPhysNetモデルは、2ブロック積みの合成データで92.6%の精度を達成し、4ブロック積みでは82.3%の精度を示した。保留された構成（例：3ブロック積み）に対しても、人間水準の性能と同等の性能を示した。
• 実世界のブロックデータでは、2ブロック積みで69.6%、4ブロック積みで69.9%の精度を達成し、人間の性能（69.6% ± 4.3%）と1標準偏差以内に収まった。
• 落下中のブロックのマスク予測は、合理的な精度を示し、PhysNetは合成データにおける4ブロック積みで-0.190の対数尤度を達成し、優れた空間的推論能力を示した。
• 2,3,4ブロック構成で学習したモデルは、未学習の構成（例：3ブロック積みを除く）へも良好に一般化し、わずかな性能低下にとどまった。これは、記憶に依存するのではなく、特徴レベルでの抽象化が行われていることを示唆している。
• 隠蔽実験の結果、モデルは重心や支持点といった重要な構造的領域に注目しており、パターンの記憶ではなく物理的推論が行われていることが示された。
• GoogLeNet特徴量に対するk-NNベースラインは性能が低く、モデルの表現が局所的に線形ではなく、単にトレーニング例を記憶しているわけではないことが示された。