[논문 리뷰] Dynamic Upsampling of Smoke through Dictionary-based Learning

Kai Bai, Wei Li외 2명|arXiv (Cornell University)|2019. 10. 21.

Computer Graphics and Visualization Techniques참고 문헌 66인용 수 4

한 줄 요약

이 논문은 저해상도 연기 시뮬레이션을 고해상도로 동적 업샘플링하기 위한 사전 기반 딥러닝 방법을 제안한다. 거친-해상도 시뮬레이션 쌍에서 국소 속도 패치의 희박한 표현을 학습함으로써, 정형적 노이즈나 표준 신경망보다 더 정확하게 현실적인 미세 구조의 소용돌이와 유동 세부 정보를 합성하여, 직접 수치 시뮬레이션 대비 최대 100배 빠른 속도로 근사 현실적인 애니메이션을 생성한다.

ABSTRACT

Simulating turbulent smoke flows is computationally intensive due to their intrinsic multiscale behavior, thus requiring relatively high resolution grids to fully capture their complexity. For iterative editing or simply faster generation of smoke flows, dynamic upsampling of an input low-resolution numerical simulation is an attractive, yet currently unattainable goal. In this paper, we propose a novel dictionary-based learning approach to the dynamic upsampling of smoke flows. For each frame of an input coarse animation, we seek a sparse representation of small, local velocity patches of the flow based on an over-complete dictionary, and use the resulting sparse coefficients to generate a high-resolution smoke animation sequence. We propose a novel dictionary-based neural network which learns both a fast evaluation of sparse patch encoding and a dictionary of corresponding coarse and fine patches from a sequence of example simulations computed with any numerical solver. Our upsampling network then injects into coarse input sequences physics-driven fine details, unlike most previous approaches that only employed fast procedural models to add high frequency to the input. We present a variety of upsampling results for smoke flows and offer comparisons to their corresponding high-resolution simulations to demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 저해상도 시뮬레이션에서 고해상도, 현실적인 연기 애니메이션을 비용이 많이 들지 않는 전수 수치 해석을 사용하지 않고 효율적으로 생성하는 데 도전한다.
• 이전 방법들이 정형적 노이즈에 의존하거나 미세 구조 세부 정보 합성에서 물리적 정확도가 떨어지는 한계를 극복한다.
• 다양한 연기 유동 환경에 일반화할 수 있는 방법을 개발하여, 소수의 훈련 예제에서의 합성 및 미세한 변형이 가해진 원래 유동의 재시뮬레이션도 가능하게 한다.
• 고해상도 시뮬레이션의 고비용을 대체하여 거친 입력에서 학습된 업샘플링을 통해 반복적인 애니메이션 설계를 신속하게 구현한다.

제안 방법

• 이 방법은 거친-해상도 시뮬레이션 쌍에서 국소 속도 패치를 표현하기 위해 다중 척도 및 시공간 인코딩된 사전 학습 프레임워크를 사용한다.
• 새로운 신경망이 과잉 결정된 사전를 사용하여 거친 입력 패치의 희박 코딩을 수행하도록 훈련된다.
• 신경망은 사전-패치 잔여항의 희박 선형 조합을 조합하여 고해상도 속도장을 재구성한다.
• 유동의 시간적 진화를 모델링하기 위해 단계 공간 인코딩을 활용하여 프레임 간 일관성을 향상시킨다.
• 모든 수치 해석기로 생성된 거친-해상도 시뮬레이션 쌍을 사용해 훈련함으로써, 다양한 흐름 구성에 일반화 가능하다.
• 고해상도 출력은 패치 단위로 합성된 후 일관된 속도 격자로 블렌딩되며, 사전 설계를 통해 수렴성 없는 특성을 유지한다.

실험 결과

연구 질문

• RQ1 사전 기반 학습 접근법은 저해상도 입력에서 난류 연기 유동의 미세 구조 소용돌이를 효과적으로 예측할 수 있는가?
• RQ2 이러한 방법은 일반화 합성, 제한된 합성, 재시뮬레이션을 포함한 다양한 애니메이션 환경에서 얼마나 잘 일반화되는가?
• RQ3 거친-해상도 시뮬레이션 쌍에서 학습한 방법이 정형적 노이즈 기반 업샘플링보다 더 물리적으로 정확한 결과를 얻을 수 있는가?
• RQ4 훈련 데이터에 존재하지 않는 고도로 난류적이거나 기하학적으로 다를 수 있는 흐름에 적용했을 때의 방법의 한계는 무엇인가?

주요 결과

• 제안된 방법은 훈련 데이터와 다른 흐름 구성에서 입력된 경우에도 실제 고해상도 수치 시뮬레이션과 시각적으로 유사한 고해상도 연기 애니메이션을 생성한다.
• 재시뮬레이션 작업에서, 미세한 변형이 가해진 경우 원래의 흐름 역학을 고해상도로 정확히 재현하며, 기준 방법들보다 현실성 면에서 뛰어나다.
• 직접 고해상도 시뮬레이션 대비 최대 100배 빠른 속도를 기록하면서도 실제 결과와 가까운 시각적 품질을 유지한다.
• 다양한 흐름 유형(단일 물체, 다중 물체, 소용돌이 링 충돌 등)에 대해 풍부하지만 제한된 시뮬레이션 쌍으로 훈련한 경우에도 잘 일반화된다.
• 거친 입력이 고해상도 시뮬레이션의 다운샘플링된 결과인 경우, tempoGAN보다 초해상도 작업에서 예측 정확도 면에서 뛰어나다.
• 매우 난류적이거나 기하학적으로 다를 수 있는 흐름에 대해서는 한계가 있지만, 대부분의 실용적 상황에서 근사적으로 압축 불가능성을 유지하고 주요 시각적 결함을 피한다.