[論文レビュー] FluidLab: A Differentiable Environment for Benchmarking Complex Fluid Manipulation

Xian Zhou, Bo Zhu+5 more|arXiv (Cornell University)|Mar 4, 2023

Robotic Path Planning Algorithms被引用数 11

ひとこと要約

FluidLab は、複雑な流体操作タスクの勾配ベースの最適化とシム・トゥ・リアル転送を可能にする、多用途な微分可能物理環境と FluidEngine バックエンドを導入します。

ABSTRACT

Humans manipulate various kinds of fluids in their everyday life: creating latte art, scooping floating objects from water, rolling an ice cream cone, etc. Using robots to augment or replace human labors in these daily settings remain as a challenging task due to the multifaceted complexities of fluids. Previous research in robotic fluid manipulation mostly consider fluids governed by an ideal, Newtonian model in simple task settings (e.g., pouring). However, the vast majority of real-world fluid systems manifest their complexities in terms of the fluid's complex material behaviors and multi-component interactions, both of which were well beyond the scope of the current literature. To evaluate robot learning algorithms on understanding and interacting with such complex fluid systems, a comprehensive virtual platform with versatile simulation capabilities and well-established tasks is needed. In this work, we introduce FluidLab, a simulation environment with a diverse set of manipulation tasks involving complex fluid dynamics. These tasks address interactions between solid and fluid as well as among multiple fluids. At the heart of our platform is a fully differentiable physics simulator, FluidEngine, providing GPU-accelerated simulations and gradient calculations for various material types and their couplings. We identify several challenges for fluid manipulation learning by evaluating a set of reinforcement learning and trajectory optimization methods on our platform. To address these challenges, we propose several domain-specific optimization schemes coupled with differentiable physics, which are empirically shown to be effective in tackling optimization problems featured by fluid system's non-convex and non-smooth properties. Furthermore, we demonstrate reasonable sim-to-real transfer by deploying optimized trajectories in real-world settings.

研究の動機と目的

• 単純な注ぎ・すくいを超えた、複雑な流体操作の堅牢な研究を動機づけ、可能にする。
• 固体、ニュートン流体/非ニュートン流体、ガスをサポートする、可微分でGPU加速の物理エンジン（FluidEngine）を提供する。
• 流体と固体の結合、複数流体相互作用を含む現実的な操作タスクの一連を提供する。
• 難易度の高い流体タスクに対してRLと最適化アルゴリズムをベンチマークし、勾配ベース最適化の利点を分析する。
• シムから実機への転送を実証し、制限点と今後の研究課題を議論する。

提案手法

• 実世界のシナリオに触発された、標準化された流体操作タスクのスイートである FluidLab を導入する。
• 固体、液体（ニュートン/非ニュートン）、ガスを密な材料間結合でサポートする Taichi ベースの微分可能物理エンジン FluidEngine を提示する。
• 材料を粒子（固体/液体用 MLS-MPM）と格子（不可压縮ガス）として、勾配有効な計算でモデル化する。
• 勾配に優しい手法を組み込む：ソフト化された接触、時間的に拡張する最適化領域、流体粒子間の勾配共有。
• タスク全体でモデルフリーRL（SAC、PPO）、CMA-ES、PODS、そして微分可能物理軸の軌道最適化（DP/DPh）を評価する。
• 最適化された軌道を実機ハードウェアに展開することでシム・トゥ・リアル転送を実証する。

実験結果

リサーチクエスチョン

• RQ1 ロボティクスのタスクに対して、微分可能な物理バックエンドは幅広い流体/材料相互作用をどのようにサポートできるか。
• RQ2 複雑な流体力学において勾配情報を活用してタスク性能を向上させる最適化戦略はどれか。
• RQ3 微分可能な物理に基づく軌道が実世界の流体操作ロボットへ効果的に転送されるか。
• RQ4 高次元・非凸な流体操作問題におけるRL手法のサンプル効率の限界は何か、勾配ベース手法とどう比較されるか。
• RQ5 マルチ流体・流体固体結合を統一的なシミュレーションプラットフォームで効果的に学習・制御できるか。

主な発見

課題	SAC	PPO	CMA-ES	PODS	DP-H	DP
Latte Art (Pour)	-1417.6 ± 37.4	-1078.3 ± 187.4	279.9 ± 124.1	872.3 ± 17.6	998.7 ± 0.5	999.3 ± 0.7
Latte Art (Stir)	555.4 ± 22.8	585.3 ± 21.7	745.2 ± 22.1	454.6 ± 73.5	830.1 ± 7.2	995.4 ± 1.68
Ice Cream (Sta.)	-1450.7 ± 14.2	-1250.6 ± 563.8	69.5 ± 140.1	251.7 ± 43.1	295.1 ± 14.2	474.6 ± 21.4
Ice Cream (Dyn.)	-509.6 ± 30.9	-424.0 ± 110.5	131.4 ± 100.5	-203.6 ± 78.1	-162.9 ± 30.5	1469.4 ± 28.8
Transporting	2050.6 ± 450.7	1104.6 ± 99.7	1694.5 ± 463.6	2120.2 ± 296.1	1443.9 ± 78.6	1471.1 ± 127.7
Mixing	1523.2 ± 389.4	374.5 ± 7.3	3875.2 ± 143.2	4742.3 ± 187.6	5974.0 ± 198.8	7648.4 ± 47.0
Pouring	-324.3 ± 50.3	-324.3 ± 50.3	57.1 ± 169.7	284.1 ± 84.9	88.3 ± 9.1	603.4 ± 29.7
Gathering (Easy)	130.2 ± 2.4	129.7 ± 1.2	143.1 ± 1.4	129.5 ± 1.7	116.9 ± 0.3	151.5 ± 0.3
Gathering (Hard)	477.2 ± 9.7	-138.9 ± 67.3	687.2 ± 80.1	413.4 ± 71.6	566.9 ± 30.4	946.8 ± 5.1
Air Circulation	4430.2 ± 264.7	5043.3 ± 21.2	3917.3 ± 385.3	3557.8 ± 364.2	5046.3 ± 23.7	5043.3 ± 21.2

• FluidLab は、固体、ニュートンおよび非ニュートン流体、およびガスをサポートする微分可能なプラットフォームを提供し、複雑な流体相互作用を可能にする。
• 微分可能な物理ベースの軌道最適化（DP）は、一般にオラクル性能に近い成果を挙げ、いくつかのタスクでモデルフリーRLを上回ることが多い。
• ソフト化された接触、時間的に拡張する最適化ウィンドウ、および流体粒子間の勾配共有は、勾配ベースの最適化を大幅に安定化・改善する。
• RL 手法はサンプル効率が限られ、繊細で相互作用の強いタスク（注ぐ、混合など）では微分可能な最適化と比較して苦戦する。
• シム・トゥ・リアル転送は実現可能：FluidLab で最適化された軌道が実機ロボット上で比較的良好に機能し、実用性を示す。