[論文レビュー] High-order Differentiable Autoencoder for Nonlinear Model Reduction

Siyuan Shen, Yin Yang+5 more|arXiv (Cornell University)|Feb 19, 2021

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、物理ベースのシミュレーションにおける非線形モデル低減のための高次微分可能ディープオートエンコーダー（DAE）を提案する。複素数ステップ有限差分（CSFD）と逆方向自動微分を組み合わせることで、2階および3階微分を効率的に計算し、リアルタイムでの弾性変形を可能にする。GPU上で深く高次元のDAE（10層以上）を用いた実行性能を達成し、線形低減法を上回る、複雑な非線形ダイナミクスの捉え込みを実現する。

ABSTRACT

This paper provides a new avenue for exploiting deep neural networks to improve physics-based simulation. Specifically, we integrate the classic Lagrangian mechanics with a deep autoencoder to accelerate elastic simulation of deformable solids. Due to the inertia effect, the dynamic equilibrium cannot be established without evaluating the second-order derivatives of the deep autoencoder network. This is beyond the capability of off-the-shelf automatic differentiation packages and algorithms, which mainly focus on the gradient evaluation. Solving the nonlinear force equilibrium is even more challenging if the standard Newton's method is to be used. This is because we need to compute a third-order derivative of the network to obtain the variational Hessian. We attack those difficulties by exploiting complex-step finite difference, coupled with reverse automatic differentiation. This strategy allows us to enjoy the convenience and accuracy of complex-step finite difference and in the meantime, to deploy complex-value perturbations as collectively as possible to save excessive network passes. With a GPU-based implementation, we are able to wield deep autoencoders (e.g., $10+$ layers) with a relatively high-dimension latent space in real-time. Along this pipeline, we also design a sampling network and a weighting network to enable \emph{weight-varying} Cubature integration in order to incorporate nonlinearity in the model reduction. We believe this work will inspire and benefit future research efforts in nonlinearly reduced physical simulation problems.

研究の動機と目的

• 変形固体の複雑な非線形ダイナミクスを捉えることができない線形モデル低減の限界を解消すること。
• 高次微分評価の計算課題を克服することで、ディープオートエンコーダーを用いた正確でリアルタイムの物理ベースシミュレーションを可能にすること。
• ニュートン力学に必要な2階および3階微分をサポートする、微分可能DAEフレームワークの開発。
• ニューラルキューブチャチャとドメイン分割を統合し、複雑な幾何形状における効率的で局所的な非線形低減を実現すること。
• 高次微分可能DAEの実現可能性と性能を、リアルタイムアニメーションおよびシミュレーションにおいて示すこと。

提案手法

• 複素数ステップ有限差分（CSFD）をディープオートエンコーダーに拡張し、時間変動する接空間への正確な射影を可能にする高次微分の効率的計算。
• CSFDと逆方向自動微分を組み合わせ、ネットワークの通過回数がO(n)で、1階、2階、3階微分を評価可能に。
• 学習可能な重みを備えたニューラルキューブチャチャネットワークを設計し、非一様なサンプリングと非線形低次元空間における正確な統合を可能に。
• 変形のサブストラクチャリングを伴うドメイン分割を採用し、局所的な非線形部分空間を適用することで、複雑なモデルにおける効率性とリアリズムの向上。
• 一般化されたニュートン・オイラー方程式を用いて、局所的変形とグローバルな剛体運動を結合し、フリーフローティングシミュレーションを実現。
• GPUアクセラレーションを活用したパイプラインを導入し、深く高次元のDAE（例：10層以上、潜在空間次元 > 50）を用いたリアルタイムシミュレーションを実現。

Figure 1. In this paper, we exploit deep autoencoder (DAE) networks to accelerate physics-based simulation. In order to model nonlinear subspace dynamics accurately, second- and high-order derivatives of the deep decoder net must be efficiently evaluated to match the subspace simulation frame rate.

実験結果

リサーチクエスチョン

• RQ1 ディープオートエンコーダーの高次微分を効率的に計算可能か。これにより、物理ベースシミュレーションにおける正確な非線形モデル低減が可能か。
• RQ2 複素数ステップ有限差分をディープニューラルネットワークにどのように適応させれば、ニュートン力学に必要な2階および3階微分評価が可能になるか。
• RQ3 微分可能DAEをラグランジュ力学に統合することで、リアルタイムでの弾性変形シミュレーションが可能か。
• RQ4 本手法は、複雑な非線形変形挙動を捉える点で、線形モデル低減法に比べて優れているか。
• RQ5 ドメイン分割とニューラルキューブチャチャは、大規模で幾何的に複雑なモデルにおける非線形低減のスケーラビリティと正確性を向上させられるか。

主な発見

• 提案されたCSFD拡張DAEは、深く高次元の潜在空間（10層以上）を有するディープオートエンコーダーを用いて、非線形変形固体のリアルタイムシミュレーションを可能にする。
• 複雑なモデル、例えばパフューバル（320本のストリング）や落下するバニー（30以上の自由度）においても、リアルタイム性能（FPS）を達成。単一コアでのフルシミュレーションを上回る性能を示す。
• 学習可能な重みを有するニューラルキューブチャチャの導入により、非線形低次元空間における統合の正確性とサンプリング効率が向上。
• 局所的な非線形部分空間（例：1ドメインあたりn_p=10、n_q=6）を伴うドメイン分割により、サボテンのような複雑なモデルのスケーラブルかつ詳細なシミュレーションが可能。
• 一般化されたニュートン・オイラー方程式を用いたフレームワークにより、衝突処理をインピーダンス力で行うフリーフローティングオブジェクトの安定シミュレーションが可能。
• CSFDによる高次微分可能性のおかげで、標準的なADツールでは対応できない非線形部分空間ダイナミクスにおける慣性効果の正確なモデリングが可能であることが示された。

Figure 2. Increased nonlinearity better fits training poses but also makes the network more wiggling.