[논문 리뷰] Neural UpFlow: A Scene Flow Learning Approach to Increase the Apparent Resolution of Particle-Based Liquids

Bruno Roy, Pierre Poulin외 1명|arXiv (Cornell University)|2021. 06. 09.

Computer Graphics and Visualization Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 시나리오 플로우 추정을 사용하여 입자 기반 유체 시뮬레이션의 명시적 해상도를 향상시키는 딥러닝 방법인 Neural UpFlow를 제안한다. 입자 근처 특징과 변형 인식 손실을 활용하여 저해상도 입력에서 고해상도 세부 정보를 추론하고, 위상 정렬을 통한 상호 해상도 보간을 통해 현실성과 일반화 능력을 햖थ하며, 예측되지 않은 시뮬레이션 설정에서도 성능을 유지한다.

ABSTRACT

We present a novel up-resing technique for generating high-resolution liquids based on scene flow estimation using deep neural networks. Our approach infers and synthesizes small- and large-scale details solely from a low-resolution particle-based liquid simulation. The proposed network leverages neighborhood contributions to encode inherent liquid properties throughout convolutions. We also propose a particle-based approach to interpolate between liquids generated from varying simulation discretizations using a state-of-the-art bidirectional optical flow solver method for fluids in addition to a novel key-event topological alignment constraint. In conjunction with the neighborhood contributions, our loss formulation allows the inference model throughout epochs to reward important differences in regard to significant gaps in simulation discretizations. Even when applied in an untested simulation setup, our approach is able to generate plausible high-resolution details. Using this interpolation approach and the predicted displacements, our approach combines the input liquid properties with the predicted motion to infer semi-Lagrangian advection. We furthermore showcase how the proposed interpolation approach can facilitate generating large simulation datasets with a subset of initial condition parameters.

연구 동기 및 목표

• 고비용의 고해상도 시뮬레이션 없이도 저해상도 입자 기반 시뮬레이션에서 고해상도 유체 세부 정보를 생성하는 과제를 해결한다.
• SDF에 의존하거나 다중 학습 단계가 필요한 기존 방법의 한계를 극복하기 위해 직접 입자에 기반한 접근을 통해 문제를 해결한다.
• 보간 프레임워크에 핵심 이벤트 위상 정렬 제약 조건을 통합하여 예측되지 않은 시뮬레이션 설정으로의 일반화 능력을 향상시킨다.
• 보간을 통해 다중 해상도 데이터셋을 인위적으로 확장함으로써 기계학습을 위한 효율적 데이터 증강을 가능하게 한다.
• 다중 패assing 추론과 이웃 기반 컨볼루션 인코딩을 통해 추론 노이즈를 감소시키고 표면 품질을 향상시킨다.

제안 방법

• 입자 이웃 특징을 활용해 컨볼루션 연산 중에 계층적 유체 특성을 인코딩하는 딥 네트워크를 제안한다.
• Thuerey(2017)에서 제안한 가중치를 포함한 변형 인식 손실 함수를 도입하여 학습을 안내하고 수렴 속도를 향상시킨다.
• 저해상도와 고해상도 시뮬레이션 간의 시나리오 플로우를 계산하기 위해 유체용 이중 방향 광학 플로우 솔버를 사용한다.
• 시뮬레이션 특성을 활용하여 고해상도 이동량을 저해상도 입자에 매핑하기 위해 상호 해상도 보간을 적용한다.
• 특히 분수나 복잡한 특징 주변에서의 변형 필드의 오차를 수정하기 위해 핵심 이벤트 위상 정렬 제약 조건을 사용한다.
• 다양한 업샘플링 거리를 가진 여러 추론 패assing을 수행하여 노이즈를 감소시키고 이동 후 입자 노출을 방지한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 시나리오 플로우 추정을 통해 저해상도 입자 시뮬레이션에서 고해상도 유체 세부 정보를 학습하여 추론할 수 있는가?
• RQ2 명시적 SDF 감독 없이도 이웃 기반 컨볼루션은 다양한 척도에서 유체 특징을 얼마나 잘 유지하는가?
• RQ3 핵심 이벤트 위상 정렬 제약 조건이 생성된 유체 세부 정보의 현실성과 정확도를 어느 정도 향상시키는가?
• RQ4 제안된 보간 프레임워크는 예측되지 않은 시뮬레이션 설정으로 일반화되어 타당한 고해상도 출력을 유지할 수 있는가?
• RQ5 변동하는 업샘플링 거리를 가진 다중 패assing 추론은 최종 업샘플링 유체 애니메이션의 품질과 노이즈 수준에 어떤 영향을 미치는가?

주요 결과

• Neural UpFlow는 저해상도 입자 입력만으로도 분수나 코로나와 같은 소형 및 대형 유체 세부 정보를 업샘플링된 유체에 성공적으로 재현한다.
• 제안된 방법은 예측되지 않은 시뮬레이션 설정으로도 잘 일반화되며, 그림 18에서 보듯이 해당 구성에 대한 사전 노출 없이도 타당한 고해상도 세부 정보를 생성한다.
• 핵심 이벤트 위상 정렬 제약 조건은 변형 필드 정확도를 크게 향상시켜 세부 정보 손실을 유발하는 오차를 감소시킨다.
• 다양한 업샘플링 거리를 가진 다중 패assing 추론은 추론 노이즈를 감소시키고 입자 노출을 방지하여 더 부드러운 표면 표현을 이룬다.
• 보간 프레임워크는 효과적인 데이터 증강을 가능하게 하여 제한된 다중 해상도 시뮬레이션 데이터셋을 인위적으로 확장할 수 있다.
• 샘플링 반경 d=0.5R을 사용할 경우 계산 비용을 증가시키지 않으면서도 최적의 세부 정보 재현 성능을 달성한다.