[論文レビュー] 3D-PhysNet: Learning the Intuitive Physics of Non-Rigid Object Deformations

Zhihua Wang, Stefano Rosa+4 more|arXiv (Cornell University)|Apr 25, 2018

Human Pose and Action Recognition参考文献 19被引用数 9

ひとこと要約

3D-PhysNetは、材料の弾性や外力などの連続的な物理的特性を条件として、1枚の2.5次元深度画像から物体の3次元非剛性変形を予測する条件付きVAE-GANアーキテクチャを提案する。リアルタイムでの推論を実現し、素材や形状、力の条件にわたって優れた一般化性能を示し、FEMシミュレーションよりも高速でありながらも、合成データおよび実世界のデータにおいて高い精度を維持する。

ABSTRACT

The ability to interact and understand the environment is a fundamental prerequisite for a wide range of applications from robotics to augmented reality. In particular, predicting how deformable objects will react to applied forces in real time is a significant challenge. This is further confounded by the fact that shape information about encountered objects in the real world is often impaired by occlusions, noise and missing regions e.g. a robot manipulating an object will only be able to observe a partial view of the entire solid. In this work we present a framework, 3D-PhysNet, which is able to predict how a three-dimensional solid will deform under an applied force using intuitive physics modelling. In particular, we propose a new method to encode the physical properties of the material and the applied force, enabling generalisation over materials. The key is to combine deep variational autoencoders with adversarial training, conditioned on the applied force and the material properties. We further propose a cascaded architecture that takes a single 2.5D depth view of the object and predicts its deformation. Training data is provided by a physics simulator. The network is fast enough to be used in real-time applications from partial views. Experimental results show the viability and the generalisation properties of the proposed architecture.

研究の動機と目的

• ロボット工学およびARアプリケーションにおいて、部分的な深度ビューからの3次元非剛性物体変形のリアルタイム予測を可能にすること。
• 素材の性質や力の特性といった連続的で実数値の条件入力を用いて、変形物体の物理的応答をモデル化すること。
• 個々の素材に特化した微調整を必要とせずに、多様な素材、形状、力の配置に一般化できること。
• 完全なメッシュデータを必要とし、リアルタイム利用に計算的に非現実的なFEMシミュレーションの限界を克服すること。
• 入力が不完全な状態でも、まず3次元形状を再構築する段階を経てから変形を予測する、段階的なアーキテクチャを構築することにより、入力の不完全さに対する耐性を高めること。

提案手法

• コアなアーキテクチャは、条件付き変分オートエンコーダ（cVAE）と生成対抗ネットワーク（GAN）を組み合わせ、変形予測を分離可能で構造的な潜在空間でモデル化する。
• 物理的条件（素材の弾性率、力の強さ、力の作用位置）は、連続的で実数値のベクトルとして符号化され、物理的パラメータの細かい一般化を可能にする。
• 段階的なパイプラインでは、まず3次元再構築GAN（3D-RecGAN）を用いて部分的な深度ビューから完全な3次元形状を再構築し、その後に3D-PhysNetで変形を予測する。
• トレーニングは、FEMベースの物理シミュレータで生成された合成データ上で実施され、大規模かつ多様で高精度な教師信号を提供する。
• GANのディスクライマーは、高レベルの特徴類似度メトリクスを学習し、予測された変形の現実性および構造的正確性を向上させる。
• 力の作用位置はワンホットベクトルまたは連続的実数値で符号化可能であり、アブレーションにより連続的符号化が未学習の力の位置への一般化性能を向上させることを示している。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、1枚の部分的な深度ビューから、素材や形状にわたって高い精度と一般化性能を示して3次元非剛性変形を予測できるか？
• RQ2 連続的物理パラメータ（例：弾性率、力の強さ、作用位置）を条件として用いる場合と、離散的なクラスベースの条件として用いる場合とを比較した場合、一般化性能および性能にどのような差が生じるか？
• RQ3 入力ビューが不完全な状態から3次元形状を再構築する段階を経ることで、段階的なアーキテクチャが変形予測にどの程度向上効果をもたらすか？
• RQ4 トレーニング時に見られなかったオブジェクトのカテゴリーや実世界の深度画像に対しても、モデルはどの程度一般化できるか？
• RQ5 FEMシミュレーションと同等の忠実度を維持しながら、リアルタイム推論速度を達成できるか？

主な発見

• スケール変動への一般化において、平均IOUが0.98に達し、物体サイズの変化に対しても強い耐性を示している。
• 力の強さおよび作用位置への一般化において、連続的符号化ではIOUが0.9、ワンホット符号化では0.95を記録しており、連続的条件付けが未学習の力の位置への一般化に優れていることが示された。
• 段階的アーキテクチャ（Cascaded-3D-PhysNet）は、最初の3D-RecGAN段階による3次元再構築品質の向上により、エンドツーエンド学習よりも高速に収束し、より優れた性能を達成した。
• モデルは未学習のオブジェクトカテゴリに対しても効果的に一般化できる：シリンダー型のオブジェクトのみで学習した場合でも、おもちゃや複雑な幾何形状を含む多様な未学習の形状の変形を的確に予測できた。
• 実世界のMicrosoft Kinectから得た深度画像に対する定性的な結果では、単純なプリミティブからでも、四肢や足といった構造的特徴を含む現実的な変形を予測できた。
• 推論速度は、同等のFEMシミュレーションよりも1,000倍以上高速であり、時間制約のあるアプリケーションにおけるリアルタイムデプロイメントを可能にした。