[論文レビュー] RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation

Pingchuan Ma, Tao Du+3 more|arXiv (Cornell University)|May 11, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、レンダリング条件が未知である状況下でも、動画から物理的システムのパラメータを推定できるレンダリング不変状態予測モデルRISPを提案する。本手法は、微分可能シミュレーションとレンダリング勾配を活用し、照明、素材、影の影響に依存しないネットワークを訓練することで、レンダリング条件が不明な状況下でも、クロスドメイン状態推定、システム同定、模倣学習、ビジュオモーター制御の分野で最先端の性能を達成する。従来手法に比べて顕著に低い再構成誤差を実現した。

ABSTRACT

This work considers identifying parameters characterizing a physical system's dynamic motion directly from a video whose rendering configurations are inaccessible. Existing solutions require massive training data or lack generalizability to unknown rendering configurations. We propose a novel approach that marries domain randomization and differentiable rendering gradients to address this problem. Our core idea is to train a rendering-invariant state-prediction (RISP) network that transforms image differences into state differences independent of rendering configurations, e.g., lighting, shadows, or material reflectance. To train this predictor, we formulate a new loss on rendering variances using gradients from differentiable rendering. Moreover, we present an efficient, second-order method to compute the gradients of this loss, allowing it to be integrated seamlessly into modern deep learning frameworks. We evaluate our method in rigid-body and deformable-body simulation environments using four tasks: state estimation, system identification, imitation learning, and visuomotor control. We further demonstrate the efficacy of our approach on a real-world example: inferring the state and action sequences of a quadrotor from a video of its motion sequences. Compared with existing methods, our approach achieves significantly lower reconstruction errors and has better generalizability among unknown rendering configurations.

研究の動機と目的

• レンダリング設定（例：照明、素材）が未知で制御不能な状況下で、動画から物理的システムパラメータを推定する課題に対処すること。
• 既存手法が既知のレンダラーを必要としたり、大規模なドメイン適応データを必要とすることの制限を克服すること。
• ターゲットドメインデータへのアクセスを必要とせず、多様なレンダリングドメインに一般化可能な微分可能でエンドツーエンドのフレームワークを構築すること。
• レンダリングと物理的ダイナミクスが複雑でモデル化されていない現実世界のシナリオにおいても、頑健なパラメータ推定を可能にすること。
• レンダリング勾配を状態予測ネットワークに統合し、レンダリングの変動に対して不変性を強制すること。

提案手法

• レンダリング設定に依存しない画像差分から状態差分を予測するレンダリング不変状態予測モデル（RISP）を提案する。
• 照明や素材などのレンダリングパラメータの勾配に基づく、新たな損失関数を定式化し、状態予測ネットワークにおける不変性を強制する。
• 2次微分最適化法を用いてレンダリングばらつき損失の勾配を効率的に計算し、深層学習フレームワークへの統合を可能にする。
• ドメインランダマイゼーションを用いて、トレーニング中に多様なレンダリング条件（照明、背景、素材）を生成し、未知のテスト設定の分布をカバーする。
• 微分可能シミュレーションとレンダリングを活用し、パイプライン全体にバックプロパゲーションを適用することで、状態予測ネットワークのエンドツーエンド最適化を実現する。
• 微分可能ダイナミクスを用いて、RISPネットワークをシステム同定、模倣学習、ビジュオモーター制御などの下流タスクに統合する。

実験結果

リサーチクエスチョン

• RQ1 照明や素材の反射率といった未知のレンダリング設定に対して不変であるように、ニューラルネットワークをトレーニングして動画から物理的システムの状態を予測することは可能か？
• RQ2 ターゲットドメインデータへのアクセスを必要とせずに、レンダリング勾配を効果的に活用して状態予測ネットワークにおける不変性を強制する方法は何か？
• RQ3 損失関数にレンダリング勾配を組み込むことで、ピクセル単位の損失や知覚的損失と比較して、未観測のレンダリングドメインへの一般化性能が向上するか？
• RQ4 RISPは、複雑なテクスチャやモデル化されていないダイナミクス（例：飛行するクアッドローター）を有する現実世界の動画に対しても、どの程度一般化可能か？
• RQ5 ドメイン適応や既知のレンダリング設定に依存するベースラインと比較して、本手法の性能はどの程度優れているか？

主な発見

• RISPは、すべてのテスト環境およびレンダリング設定において、ピクセル単位損失および知覚的損失ベースラインに比べて顕著に低い再構成誤差を達成した。
• 模倣学習のタスクでは、次善のベースラインと比較して状態差を80％以上低減し、ハンド環境では平均誤差1.52 ± 0.18を達成した。
• アブレーションスタディの結果、レンダリング勾配が性能に不可欠であることが確認され、一部のタスクでは勾配を除去すると誤差が10倍以上に増加した。
• 現実世界のクアッドローターのタスクでは、RISPは参照動画の運動と密接に一致するアクションシーケンスを成功裏に再構成し、すべてのベースラインを上回った。これは、モデル化されていない空気力学的効果や複雑なテクスチャに対しても有効であった。
• 未観測のレンダリングドメインに対しても良好な一般化性能を示し、トレーニングとテストの設定が著しく異なる場合でも頑健であることが確認された。
• 2次勾配の使用により、レンダリングばらつき損失の効率的かつ安定したトレーニングが可能となり、深層学習パイプラインへの統合が現実的になった。