[論文レビュー] SPNets: Differentiable Fluid Dynamics for Deep Neural Networks

Connor Schenck, Dieter Fox|arXiv (Cornell University)|Jun 15, 2018

Model Reduction and Neural Networks参考文献 31被引用数 36

ひとこと要約

SPNetsは、データから流体パrameter（例：粘性、接着性）をエンドツーエンドで学習できる、微分可能で粒子ベースの流体動力学フレームワークを、2つの新規レイヤーであるConvSPおよびConvSDFを用いて、深層ニューラルネットワークに導入する。位置ベースの流体（PBF）を解析的勾配を伴うニューラルネットワークに統合することで、リアルな注ぎ出しタスクにおいて、高精度で液体操作ポリシーの直接学習と、知覚に配慮した流体状態の追跡が可能になる。

ABSTRACT

In this paper we introduce Smooth Particle Networks (SPNets), a framework for integrating fluid dynamics with deep networks. SPNets adds two new layers to the neural network toolbox: ConvSP and ConvSDF, which enable computing physical interactions with unordered particle sets. We use these lay- ers in combination with standard neural network layers to directly implement fluid dynamics inside a deep network, where the parameters of the network are the fluid parameters themselves (e.g., viscosity, cohesion, etc.). Because SPNets are imple- mented as a neural network, the resulting fluid dynamics are fully differentiable. We then show how this can be successfully used to learn fluid parameters from data, perform liquid control tasks, and learn policies to manipulate liquids.

研究の動機と目的

• ロボットによる液体操作を目的とした、非構造的で粒子ベースの流体動力学を深層ニューラルネットワークに統合する課題に対処すること。
• 観測データから流体パrameter（例：粘性、接着性）をエンドツーエンドで微分可能に学習できることを実現すること。
• 補助的な報酬関数の使用を避け、目標とする液体状態を指定することで、液体操作ポリシーの学習を可能とする手法を開発すること。
• 視覚的入力（例：RGB/赤外カメラ）を微分可能流体シミュレーションパイプラインに統合することで、現実世界のシナリオにおける流体状態推定を向上させること。

提案手法

• 無順序な粒子集合を処理し、ニューラルネットワーク内での物理的相互作用を直接計算するために、ConvSPおよびConvSDFレイヤーを導入する。
• 圧力、接着性、表面張力、衝突を処理する位置ベースの流体（PBF）アルゴリズムを、微分可能な計算グラフ内に埋め込む。
• 時間遡及バックプロパゲーションによる解析的勾配を用いて、流体パrameterと知覚ネットワークを同時に学習する。
• 3次元粒子位置を2次元画像平面に投影し、2重損失（正確性：粒子からピクセルまでの距離、カバレッジ：ピクセルから粒子までの距離）を最小化する「SolvePerception」と呼ばれる知覚補正モジュールを採用する。
• ADAM最適化アルゴリズムを用い、30ステップにわたるエンドツーエンドバックプロパゲーションで、LSTM-FCNの重みを事前学習後に固定して、全SPNetパイプラインを訓練する。
• 訓練のためにアンローリングを適用し、将来のステップからの勾配が初期パラメータ、知覚および流体動力学コンponentsにまで到達するようにする。

実験結果

リサーチクエスチョン

• RQ1 粒子ベースの流体動力学が、深層学習フレームワーク内で完全に微分可能であるか、流体パrameterのエンドツーエンド学習を可能にするか。
• RQ2 学習された知覚モジュールを用いて、RGB/赤外画像観測から液体状態を高精度に再構築できるか。
• RQ3 報酬形状の代わりに、目標とする液体配置を最適化することで、SPNetsが効果的な液体操作ポリシーを学習できるか。
• RQ4 知覚と微分可能流体動力学の統合が、現実世界の注ぎ出しシーケンスにおける状態推定精度をどのように向上させるか。

主な発見

• SPNetsは12件の現実世界の注ぎ出しシーケンスにおいて、液体状態追跡で高い交差率（IOU）を達成し、知覚を統合したSPNetsがオープンループのSPNets単体よりも優れた性能を示した。
• 知覚モジュールにより、投影された粒子位置と真値の液体ピクセルとの間で、カバレッジと正確性の両方が顕著に向上し、2重損失関数で測定された。
• 時間遡及バックプロパゲーションによるエンドツーエンド訓練により、流体パrameterと知覚ネットワーク重みの有効な共同最適化が可能となり、頑健な状態推定が実現した。
• 真の物理的ラベルを必要とせず、視覚的観測のみに依存して、流体パrameter（例：粘性、接着性）をデータから学習できた。
• 目標液体状態を指定することで、SPNetsは液体操作ポリシーの学習を可能にし、制御ポリシー学習における微分可能流体動力学の実現可能性を示した。
• IOU指標は、知覚が統合されると一貫して向上し、知覚補正モジュールが流体状態再構築の忠実性を向上させていることを確認した。