[論文レビュー] DensePhysNet: Learning Dense Physical Object Representations via Multi-step Dynamic Interactions

Zhenjia Xu, Jiajun Wu+3 more|arXiv (Cornell University)|Jun 10, 2019

Robot Manipulation and Learning参考文献 33被引用数 17

ひとこと要約

DensePhysNetは、視覚的観察を用いて自己教師ありの複数ステップの動的相互作用（例：滑りや衝突）を通じて、画素単位の物理的物体表現を学習する。光学フロー上の再帰的予測モデルを活用することで、教師なしで質量や摩擦などの物理的性質を推定し、性能の最良水準を達成している。これは、訓練時よりも多くの物体を含むシーンへの一般化も可能である。

ABSTRACT

We study the problem of learning physical object representations for robot manipulation. Understanding object physics is critical for successful object manipulation, but also challenging because physical object properties can rarely be inferred from the object's static appearance. In this paper, we propose DensePhysNet, a system that actively executes a sequence of dynamic interactions (e.g., sliding and colliding), and uses a deep predictive model over its visual observations to learn dense, pixel-wise representations that reflect the physical properties of observed objects. Our experiments in both simulation and real settings demonstrate that the learned representations carry rich physical information, and can directly be used to decode physical object properties such as friction and mass. The use of dense representation enables DensePhysNet to generalize well to novel scenes with more objects than in training. With knowledge of object physics, the learned representation also leads to more accurate and efficient manipulation in downstream tasks than the state-of-the-art.

研究の動機と目的

• 動的相互作用の視覚的観察にのみ依存して、明示的な教師なしで物理的物体表現を学習すること。
• 訓練時に観察されたものよりも多くの物体を含む新しいシーンへの一般化を可能にすること。
• 学習された密度のある表現から質量や摩擦などの物理的性質を復元し、その後続の制御タスクに活用すること。
• 多様な相互作用タイプ（滑りと衝突）が物理的性質推定の正確さに不可欠であることを示すこと。
• 復元された物理的性質を物理エンジンと統合し、新しい操作タスクの計画を可能にすること。

提案手法

• DensePhysNetは、動的相互作用後の視覚的観察から光学フローとして将来の物体の運動を予測するための深層再帰モデルを用いる。
• モデルは、行動と観察のシーケンスから運動の結果を予測することで、自己教師ありの方法で訓練される。
• モジュラーなアーキテクチャにより、視覚的外観と行動の表現が物理的性質の表現から分離され、分離性が実現される。
• システムは複数ステップの相互作用（滑りと衝突）を実行し、物理的性質推定のための多様な動的手がかりを収集する。
• 学習されたデコーダーが密度のある物理的表現から物理的性質（質量、摩擦）を抽出し、後続の用途に活用する。
• フレームワークは学習された表現を物理エンジンと統合し、新しい制御タスクの計画と実行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層予測モデルは、明示的な教師なしで、自己教師ありの動的相互作用から密度のある物理的物体表現を学習できるか？
• RQ2 学習された表現は、訓練データに含まれる物体数よりも多い物体を含むシーンにどの程度一般化できるか？
• RQ3 多様な相互作用タイプ（滑り対比衝突）が物理的性質推定の正確さにどの程度寄与するか？
• RQ4 学習された表現から復元された物理的性質は、物理エンジンにおいて新しいタスク計画に効果的に利用できるか？
• RQ5 DensePhysNetは、物理的性質復元および後続の操作タスクの両面で、最先端の手法と比較してどの程度の性能を示すか？

主な発見

• DensePhysNetは、シミュレーションおよび現実世界の両設定において、ベースライン手法と比較して物理的性質（質量および摩擦）を予測する平均誤差が顕著に低い水準に達している。
• モデルは、訓練データに2つの物体までしか含まれていないにもかかわらず、最大4つの物体を含むシーンに対しても効果的に一般化できており、物体数の変動に伴う性能低下は最小限に抑えられている。
• 滑りと衝突の両方の相互作用を使用することで、単一の滑り相互作用のみを使用する場合よりも、一般化性能および制御性能が向上している。
• ターゲット物体を伴う平面的滑りを伴う新しいタスクにおいて、DensePhysNetはベースラインを上回り、最終位置誤差の平均値が顕著に低い水準に達している。
• 密度的で画素単位の表現を用いることで、グローバルなシーン埋め込みに依存する手法よりも、複雑なシーンへの一般化性能が向上している。
• 物理的表現に学習されたデコーダーは、質量と摩擦の値を効果的に抽出でき、その後、物理エンジンにおいて新しいタスクの計画に効果的に活用されている。