[논문 리뷰] SPNets: Differentiable Fluid Dynamics for Deep Neural Networks

Connor Schenck, Dieter Fox|arXiv (Cornell University)|2018. 06. 15.

Model Reduction and Neural Networks참고 문헌 31인용 수 36

한 줄 요약

SPNets는 두 가지 새로운 레이어인 ConvSP 및 ConvSDF를 사용하여 깊이 신경망 내에서 유체 물리량(예: 점성, 응집력)을 데이터로부터 엔드 투 엔드로 학습할 수 있는 유체 역학 프레임워크를 도입한다. 위치 기반 유체(PBF)를 분석적 기울기를 갖는 신경망에 통합함으로써 SPNets는 실제 붓기 작업에서 높은 정확도로 액체 조작 정책과 인지 인식 기반의 유체 상태 추적을 직접 학습할 수 있다.

ABSTRACT

In this paper we introduce Smooth Particle Networks (SPNets), a framework for integrating fluid dynamics with deep networks. SPNets adds two new layers to the neural network toolbox: ConvSP and ConvSDF, which enable computing physical interactions with unordered particle sets. We use these lay- ers in combination with standard neural network layers to directly implement fluid dynamics inside a deep network, where the parameters of the network are the fluid parameters themselves (e.g., viscosity, cohesion, etc.). Because SPNets are imple- mented as a neural network, the resulting fluid dynamics are fully differentiable. We then show how this can be successfully used to learn fluid parameters from data, perform liquid control tasks, and learn policies to manipulate liquids.

연구 동기 및 목표

• 로봇 액체 조작을 위한 비정형, 입자 기반의 유체 역학을 딥 네트워크에 통합하는 문제를 해결하기 위해.
• 관측 데이터로부터 유체 물리량(예: 점성, 응집력)을 엔드 투 엔드로 미분 가능하게 학습하기 위해.
• 보조 보상 함수를 사용하는 대신 목표 액체 상태를 지정하여 액체 조작 정책을 학습하는 방법을 개발하기 위해.
• 실제 환경에서의 유체 상태 추정을 향상시키기 위해 인지 정보(예: RGB/열화상 카메라 입력)를 유체 시뮬레이션 파이프라인에 통합하기 위해.

제안 방법

• 순서 없는 입자 집합을 처리하고 신경망 내에서 직접 물리적 상호작용을 계산하기 위해 ConvSP 및 ConvSDF 레이어를 도입한다.
• 압력, 응집력, 표면 장력 및 충돌을 처리하는 위치 기반 유체(PBF) 알고리즘을 분석적 기울기를 갖는 계산 그래프 내에 통합한다.
• 시간에 따라 역전파를 통한 분석적 기울기를 사용하여 유체 물리량과 인지 네트워크를 함께 훈련한다.
• 3D 입자 위치를 2D 이미지 평면에 투영하고 정확도(입자-픽셀 거리)와 커버리지(픽셀-입자 거리)의 이중 손실을 최소화하는 인지 보정 모듈(SolvePerception)을 활용한다.
• ADAM 옵timizer를 사용하여 30개 타임스텝 동안 엔드 투 엔드 역전파를 통해 전체 SPNet 파이프라인을 훈련하며, 사전 훈련 후 LSTM-FCN 가중치를 고정한다.
• 훈련을 위해 언롤링을 적용하여 미래 타임스텝에서의 기울기가 초기 파rameter로까지 흐르도록 하며, 인지 및 유체 역학 구성 요소를 포함한다.

실험 결과

연구 질문

• RQ1 입자 기반의 유체 역학이 딥 러닝 프레임워크 내에서 완전히 미분 가능하게 구현되어 엔드 투 엔드로 유체 물리량을 학습할 수 있는가?
• RQ2 학습된 인지 모듈을 사용하여 RGB/열화상 카메라 관측치로부터 유체 상태를 정확하게 재구성할 수 있는가?
• RQ3 보상 형상화를 대신하여 목표 유체 구성 상태를 최적화함으로써 SPNets가 효과적인 액체 조작 정책을 학습할 수 있는가?
• RQ4 인지와 유체 역학의 통합이 실제 붓기 시퀀스에서 상태 추정 정확도를 어떻게 향상시키는가?

주요 결과

• SPNets는 12개의 실제 붓기 시퀀스에서 액체 상태 추적에 대해 높은 교차 면적율(IOU) 성능를 기록하였으며, 인지 모듈을 통합한 SPNets가 단독으로 작동하는 오픈 루프 SPNets보다 우수한 성능를 보였다.
• 입자 기반의 액체 표현의 커버리지와 정확도가 이중 손실 함수를 통해 투영된 입자 위치와 진짜 액체 픽셀 간의 거리 측정을 통해 크게 향상되었으며, 이는 인지 모듈의 효과를 뒷받침한다.
• 시간에 따라 역전파를 통한 엔드 투 엔드 훈련은 유체 물리량과 인지 네트워크 가중치를 효과적으로 공동 최적화할 수 있게 하여 강력한 상태 추정을 가능하게 하였다.
• 정확한 물리적 레이블이 필요 없이 시각적 관측치만으로도 데이터로부터 점성, 응집력 등의 유체 물리량을 성공적으로 학습하였다.
• 목표 액체 상태를 지정함으로써 SPNets는 액체 조작 정책 학습을 가능하게 하였으며, 제어 정책 훈련에서 유체 역학의 미분 가능성의 실현 가능성을 입증하였다.
• IOU 지표는 인지 모듈 통합 시 일관되게 향상되었으며, 이는 인지 보정 모듈이 유체 상태 재구성의 정밀도를 향상시킨다는 것을 확인시켰다.