[논문 리뷰] FluidLab: A Differentiable Environment for Benchmarking Complex Fluid Manipulation

Xian Zhou, Bo Zhu외 5명|arXiv (Cornell University)|2023. 03. 04.

Robotic Path Planning Algorithms인용 수 11

한 줄 요약

FluidLab은 복합 유체 조작 작업을 벤치마크하기 위한 다목적 미분 가능 물리 환경과 FluidEngine 백엔드를 도입하여 로봇 연구를 위한 그래디언트 기반 최적화 및 시뮬레이터-현실 이전을 가능하게 한다.

ABSTRACT

Humans manipulate various kinds of fluids in their everyday life: creating latte art, scooping floating objects from water, rolling an ice cream cone, etc. Using robots to augment or replace human labors in these daily settings remain as a challenging task due to the multifaceted complexities of fluids. Previous research in robotic fluid manipulation mostly consider fluids governed by an ideal, Newtonian model in simple task settings (e.g., pouring). However, the vast majority of real-world fluid systems manifest their complexities in terms of the fluid's complex material behaviors and multi-component interactions, both of which were well beyond the scope of the current literature. To evaluate robot learning algorithms on understanding and interacting with such complex fluid systems, a comprehensive virtual platform with versatile simulation capabilities and well-established tasks is needed. In this work, we introduce FluidLab, a simulation environment with a diverse set of manipulation tasks involving complex fluid dynamics. These tasks address interactions between solid and fluid as well as among multiple fluids. At the heart of our platform is a fully differentiable physics simulator, FluidEngine, providing GPU-accelerated simulations and gradient calculations for various material types and their couplings. We identify several challenges for fluid manipulation learning by evaluating a set of reinforcement learning and trajectory optimization methods on our platform. To address these challenges, we propose several domain-specific optimization schemes coupled with differentiable physics, which are empirically shown to be effective in tackling optimization problems featured by fluid system's non-convex and non-smooth properties. Furthermore, we demonstrate reasonable sim-to-real transfer by deploying optimized trajectories in real-world settings.

연구 동기 및 목표

• 복잡한 유체 조작을 단순 부어주기와 스쿱 유형을 넘어선 견고한 연구를 동기화하고 가능하게 한다.
• 고체, 뉴턴성/비뉴턴성 액체, 기체를 지원하는 differentiable, GPU 가속 물리 엔진(FluidEngine)을 제공한다.
• 유체와 고체, 다유체 상호작용을 결합한 현실적인 조작 작업 세트를 제공한다.
• 강력한 유체 작업에서 RL 및 최적화 알고리즘을 벤치마크하고 그래디언트 기반 최적화의 이점을 분석한다.
• 시뮬레이트-현실 전환을 시연하고 한계점 및 향후 연구 방향을 논의한다.

제안 방법

• Real-world 시나리오에서 영감을 받은 표준화된 유체 조작 작업 모음인 FluidLab을 도입한다.
• 고체, 액체(뉴턴성 및 비뉴턴성), 기체를 지능적으로 연결하는 Taichi 기반의 differentiable 물리 엔진 FluidEngine을 제시한다.
• 재료를 그래디언트 지원 계산이 가능한 입자(고체/액체는 MLS-MPM)와 격자(비압축 기체)로 모델링한다.
• 연속적으로 확장 가능한 최적화 영역, 연성된 접촉, 유체 입자 간 그래디언트 공유 등 그래디언트 친화적 기술을 도입한다.
• 태스크 전반에서 모델 프리 RL(SAC, PPO), CMA-ES, PODS, 및 differentiable-physics 궤적 최적화(DP/DPh)를 평가한다.
• 실제 하드웨어에 최적화된 궤적을 배치하여 시뮬레이트-현실 전환의 실현 가능성을 시연한다.

실험 결과

연구 질문

• RQ1 differentiable 물리 백엔드가 로봇 작업을 위한 광범위한 유체/재료 상호작용을 어떻게 지원할 수 있는가?
• RQ2 복잡한 유체 역학에서 그래디언트 정보를 활용하여 작업 성능을 개선하는 최적화 전략은 무엇인가?
• RQ3 differentiable 물리 기반의 궤적이 실제 로봄 조작의 유체 작업에 효과적으로 이전되는가?
• RQ4 고차원적이고 비볼록적인 유체 조작 문제에서 RL 접근법의 한계점은 무엇이며 그래디언트 기반 방법과 비교하면 어떤가?
• RQ5 다중 유체 및 유체-고체 결합을 단일 시뮬레이션 플랫폼에서 효과적으로 학습하고 제어할 수 있는가?

주요 결과

작업	SAC	PPO	CMA-ES	PODS	DP-H	DP
Latte Art (Pour)	-1417.6 ± 37.4	-1078.3 ± 187.4	279.9 ± 124.1	872.3 ± 17.6	998.7 ± 0.5	999.3 ± 0.7
Latte Art (Stir)	555.4 ± 22.8	585.3 ± 21.7	745.2 ± 22.1	454.6 ± 73.5	830.1 ± 7.2	995.4 ± 1.68
Ice Cream (Sta.)	-1450.7 ± 14.2	-1250.6 ± 563.8	69.5 ± 140.1	251.7 ± 43.1	295.1 ± 14.2	474.6 ± 21.4
Ice Cream (Dyn.)	-509.6 ± 30.9	-424.0 ± 110.5	131.4 ± 100.5	-203.6 ± 78.1	-162.9 ± 30.5	1469.4 ± 28.8
Transporting	2050.6 ± 450.7	1104.6 ± 99.7	1694.5 ± 463.6	2120.2 ± 296.1	1443.9 ± 78.6	1471.1 ± 127.7
Mixing	1523.2 ± 389.4	374.5 ± 7.3	3875.2 ± 143.2	4742.3 ± 187.6	5974.0 ± 198.8	7648.4 ± 47.0
Pouring	-324.3 ± 50.3	-324.3 ± 50.3	57.1 ± 169.7	284.1 ± 84.9	88.3 ± 9.1	603.4 ± 29.7
Gathering (Easy)	130.2 ± 2.4	129.7 ± 1.2	143.1 ± 1.4	129.5 ± 1.7	116.9 ± 0.3	151.5 ± 0.3
Gathering (Hard)	477.2 ± 9.7	-138.9 ± 67.3	687.2 ± 80.1	413.4 ± 71.6	566.9 ± 30.4	946.8 ± 5.1
Air Circulation	4430.2 ± 264.7	5043.3 ± 21.2	3917.3 ± 385.3	3557.8 ± 364.2	5046.3 ± 23.7	5043.3 ± 21.2

• FluidLab은 고체, 뉴턴성 및 비뉴턴성 액체, 가스를 지원하는 미분 가능 플랫폼으로 복합 유체 상호 작용을 가능하게 한다.
• 미분 가능 물리 기반 궤적 최적화(DP)는 일반적으로 거의 실제 정답에 근접한 성능을 달성하고 여러 작업에서 모델 프리 RL을 능가하는 경우가 많다.
• 연성된 접촉, 시간적으로 확장된 최적화 창, 유체 입자 간 그래디언트 공유는 그래디언트 기반 최적화를 크게 안정화시키고 개선한다.
• RL 방법은 샘플 효율이 제한적이며 미세하고 상호작용이 많은 작업(예: 부어주기, 혼합)에서 미분 가능 최적화에 비해 어려움을 겪는다.
• 시뮬레이트-현실 전환은 가능하다: FluidLab에서 최적화된 궤적이 실제 로봇에서도 비교적 잘 작동하여 실용적 적용 가능성을 강조한다.