[論文レビュー] Predicting the dynamics of 2d objects with a deep residual network

François Fleuret|arXiv (Cornell University)|Oct 13, 2016

Robot Manipulation and Learning参考文献 4被引用数 3

ひとこと要約

本稿では、画像対画像回帰を用いて物理シミュレータ内での2次元剛体形状の動的進化を予測する深層残差ネットワークを提案する。モデルは把持された物体を検出するとともに、トルクや衝突を含む運動を推論し、初期状態と把持点の画像から最終的なシーン構成を正確に再構築する。物理モデルを明示的に用いずに高精細な予測を達成する。

ABSTRACT

We investigate how a residual network can learn to predict the dynamics of interacting shapes purely as an image-to-image regression task. With a simple 2d physics simulator, we generate short sequences composed of rectangles put in motion by applying a pulling force at a point picked at random. The network is trained with a quadratic loss to predict the image of the resulting configuration, given the image of the starting configuration and an image indicating the point of grasping. Experiments show that the network learns to predict accurately the resulting image, which implies in particular that (1) it segments rectangles as distinct components, (2) it infers which one contains the grasping point, (3) it models properly the dynamic of a single rectangle, including the torque, (4) it detects and handles collisions to some extent, and (5) it re-synthesizes properly the entire scene with displaced rectangles.

研究の動機と目的

• 残差ネットワークが、エンド・トゥ・エンドの画像対画像回帰のみを通じて、複雑な2次元物体の運動を学習できるかどうかを調査すること。
• ネットワークが視覚入力のみから物体の識別、運動、トルク、衝突処理といった物理的性質をどの程度推論できるかを評価すること。
• 部分境界や動的挙動に対する教師なし条件下でも、ネットワークが暗黙的にセグメンテーションとシーン再構築を学習できるかどうかを評価すること。
• 最小限のアーキテクチャチューニングで、単純で微分不能な物理シミュレータを深層学習アーキテクチャが効果的にモデル化できるかどうかを明らかにすること。

提案手法

• ネットワークは18層の残差アーキテクチャを採用し、16チャネルの特徴マップを用い、5×5畳み込みフィルタ、バッチ正則化、ReLU活性化関数、スキップ接続を組み合わせて学習の安定化を図る。
• 入力は2つの64×64グレースケール画像から構成され、初期の物体配置と1つの白い点で表される把持点インジケータである。
• 予測された最終構成と真値との間の標準L2損失を用い、32,768本のシミュレート済みシーケンス上で確率的勾配降下法を用いて訓練を行う。
• 残差ブロックは、スキップ接続後にバッチ正則化とReLUを適用する構造の残差モジュールとして構成され、深層表現の安定学習を可能にする。
• すべてのパラメータをシーケンス間で固定したカスタム2次元物理シミュレータ上でエンド・トゥ・エンドに訓練され、弾性衝突、トルク、流体摩擦を含む。
• 層間の活性化を可視化して内部表現を分析したところ、特定のチャネルが移動中の物体や把持された形状のセグメンテーションを特徴として検出していることが判明した。

実験結果

リサーチクエスチョン

• RQ1 深層残差ネットワークは、物理的監視なしに初期画像と把持点位置から、複数の相互作用する2次元剛体の最終構成を学習して予測できるか？
• RQ2 視覚入力のみから、並進、回転（トルク）、衝突応答といった物理的運動をどの程度正確に推論できるか？
• RQ3 ネットワークは、シーン内の他の物体と区別する形で、把持された物体を暗黙的にセグメンテーションしているとみるべきか？
• RQ4 初期条件のわずかな変化が結果に大きな違いをもたらすような複雑な衝突連鎖やエッジケースに対しても、モデルの一般化性能はどの程度高いか？
• RQ5 ネットワークの内部表現は、物体の識別、運動、力の伝播といった意味のある物理的抽象化を反映しているか？

主な発見

• 2,000エポックの訓練後も過学習が観察されず、テスト損失が低く（最小0.001355）一般化性能が良好である。
• モデルは正確に最終構成を予測できており、正しい並進、回転（トルク）、および衝突に起因する運動伝播を再現している。
• 内部活性化の可視化により、特定の特徴チャネルが把持された物体、移動中の物体、背景をそれぞれ特徴として検出していることが示され、暗黙的セグメンテーションが実現している。
• 多くの場合、衝突を安定して処理しているが、複雑な複数段階の衝突連鎖や境界付近の状況では性能が低下する傾向がある。
• 最小限のアーキテクチャチューニングと物理的損失の追加なしに、エッジ再構築や物体の変位を含む、全体のシーンを高精細に再構築する能力を学習している。
• チャネル数を16から8に減らすと性能が著しく低下し、複雑な運動を学習するには十分な容量が不可欠であることが示された。