[論文レビュー] 3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators

Hsiao-Yu Fish Tung, Xian Zhou+3 more|arXiv (Cornell University)|Nov 12, 2020

Human Pose and Action Recognition参考文献 45被引用数 13

ひとこと要約

3D-OES は、可微分な3次元ニューラルシーン表現を用いたグラフニューラルネットワークを用いて、RGB-D動画から3次元オブジェクトの運動を予測する、視点不変でオブジェクトに因子分解された動的モデルを提案する。本手法は、視点、オブジェクト数、外観の変化に対して優れた一般化性能を達成し、ロボット操作タスクにおける有効なシミュレーションから実世界への転送を可能にする。

ABSTRACT

We propose an action-conditioned dynamics model that predicts scene changes caused by object and agent interactions in a viewpoint-invariant 3D neural scene representation space, inferred from RGB-D videos. In this 3D feature space, objects do not interfere with one another and their appearance persists over time and across viewpoints. This permits our model to predict future scenes long in the future by simply "moving" 3D object features based on cumulative object motion predictions. Object motion predictions are computed by a graph neural network that operates over the object features extracted from the 3D neural scene representation. Our model's simulations can be decoded by a neural renderer into2D image views from any desired viewpoint, which aids the interpretability of our latent 3D simulation space. We show our model generalizes well its predictions across varying number and appearances of interacting objects as well as across camera viewpoints, outperforming existing 2D and 3D dynamics models. We further demonstrate sim-to-real transfer of the learnt dynamics by applying our model trained solely in simulation to model-based control for pushing objects to desired locations under clutter on a real robotic setup

研究の動機と目的

• インタラクティブシーンにおける変化するカメラの視点やオブジェクト配置に一般化する動的モデルの開発。
• 3次元潜在空間における外観と運動の分離を用いて、長時間予測が可能なシーン予測の実現。
• ニューラルレンダリングを介して解釈可能で視点不変なシーンシミュレーションおよび仮説的推論を支援。
• 現実世界のロボット操作タスクにおけるモデルベース制御のための有効なシミュレーションから実世界への転送の実現。
• 2次元動的モデルが遮蔽や視点変化を処理する際の限界を、3次元要因分解によって克服。

提案手法

• RGB-D動画から可微分な3次元ニューラルシーン表現を推論する、幾何学に配慮した再帰的ニューラルネットワーク（GRNN）を用いる。
• 個々のオブジェクトを検出し、3次元特徴マップに埋め込み、視点変化や遮蔽に対しても外観を保持する。
• 3次元オブジェクト特徴とアクション入力を用いたグラフニューラルネットワーク（GNN）を適用し、累積的な3次元平行移動と回転を予測する。
• 予測された運動に基づいて3次元オブジェクト特徴マップを平行移動・回転させることで、将来のシーンを生成し、誤差の蓄積を回避する。
• 解釈性を高めるために、任意の視点から2次元画像ビューをニューラルレンダラを用いて3次元潜在表現から復元する。
• RGB-D入力と真値の3次元オブジェクト状態を用いて、端末から端末まで訓練し、運動予測とシーン生成を同時に行う。

実験結果

リサーチクエスチョン

• RQ1 3次元因子分解され、視点不変な動的モデルは、インタラクティブシーンにおける未観測のオブジェクト数や外観に対しても一般化可能か？
• RQ2 3次元ニューラルシーン表現における動的学習は、2次元画像中心のモデルと比較して、カメラの視点変化に対して一般化性能が向上するか？
• RQ3 学習された3次元動的モデルは、正確な長時間予測と仮説的シミュレーションを可能にするか？
• RQ4 シミュレーションで訓練されたモデルが、微調整なしに現実世界のロボット操作タスクにどの程度転送可能か？
• RQ5 3次元オブジェクト因子分解表現は、遮蔽や視点変化に対する運動予測のロバスト性をどの程度向上させるか？

主な発見

• 3D-OES はモデル予測制御を用いたプッシュタスクで 0.86 の成功率を達成し、グラフ-XYZ（0.76）や PlaNet（0.16）をすべて上回った。
• 2オブジェクトのシーンでのみ学習したモデルでも、未学習のオブジェクト数や外観を持つシーンに一般化可能であった。
• カメラの視点変化に対しても一般化性能を示したが、2次元ベースラインは視点変化に対して著しい不足適合を示した。
• シミュレーションから実世界への転送は 0.78 の成功率で成功し、シミュレーションの 0.86 に近く、優れた性能を示した。
• 3次元オブジェクト特徴を操作することで仮説的シミュレーションが可能であり、ニューラルレンダリングにより可視化された。
• 3次元表現により、再エンコードを行わずにオブジェクト特徴を移動させることで、安定的かつ誤差を最小限に抑えたシーン生成が可能となり、分布シフトの低減が達成された。