[논문 리뷰] tempoGAN: A Temporally Coherent, Volumetric GAN for Super-resolution Fluid Flow

You Xie, Erik Franz외 2명|arXiv (Cornell University)|2018. 01. 29.

Advanced Image Processing Techniques참고 문헌 51인용 수 80

한 줄 요약

tempoGAN은 시간적으로 일관된 조건부 GAN을 통해 유체 흐름의 즉시 4차원 초해상화를 구현하며, 새로운 시간적 판별기와 물리학 인식 강화가 특징이다.

ABSTRACT

We propose a temporally coherent generative model addressing the super-resolution problem for fluid flows. Our work represents a first approach to synthesize four-dimensional physics fields with neural networks. Based on a conditional generative adversarial network that is designed for the inference of three-dimensional volumetric data, our model generates consistent and detailed results by using a novel temporal discriminator, in addition to the commonly used spatial one. Our experiments show that the generator is able to infer more realistic high-resolution details by using additional physical quantities, such as low-resolution velocities or vorticities. Besides improvements in the training process and in the generated outputs, these inputs offer means for artistic control as well. We additionally employ a physics-aware data augmentation step, which is crucial to avoid overfitting and to reduce memory requirements. In this way, our network learns to generate advected quantities with highly detailed, realistic, and temporally coherent features. Our method works instantaneously, using only a single time-step of low-resolution fluid data. We demonstrate the abilities of our method using a variety of complex inputs and applications in two and three dimensions.

연구 동기 및 목표

• 단일 저해상도 스냅샷에서 고해상도이고 시간적으로 일관된 4D 유체 흐름 필드를 생성하는 도전 과제를 해결한다.
• 추론 시 시간 데이터가 필요하지 않도록 GAN 기반 초해상화를 4차원 물리 문제로 확장한다.
• 물리학 인식 및 입력 얽힘을 통합하여 현실감과 출력에 대한 사용자 제어를 향상시킨다.
• 2D 및 3D 흐름 시나리오 전반에서 효과를 입증하고 물리 기반 GAN의 훈련 모범 사례를 제시한다.

제안 방법

• 단일 저해상도 프레임에서 3D 고해상도 흐름 양을 추론하기 위해 조건부 GAN 아키텍처를 사용한다.
• 세 프레임의 시퀀스(수송을 포함)를 평가하는 새로운 시간적 판별기 D_t를 도입하여 시간적 일관성을 보장한다.
• 입력 x와 출력 G(x)에서 작동하며 현실적인 공간 디테일을 보장하는 공간적 판별기 D_s를 도입한다.
• 판별기로부터의 활성화를 사용한 특징 공간 손실을 적용하여 생성기가 실제 특징으로 수렴하도록 유도하며, 일부 설정에서 음수 가중치의 의외의 이점을 포함한다.
• 과적합을 줄이고 메모리 요구를 관리하기 위한 물리 인식 데이터 증강 단계를 포함하여 운송 기반 흐름에 대한 일반화를 돕는다.
• 학습 중에 수송 흐름을 통해 다중 프레임 입력을 정렬하기 위해 근사 속도장을 사용하는 수송 계층을 적용하여 올바른 시간적 기울기를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 저해상도 스냅샷에서 고해상도이고 시간적으로 일관된 4D 유체 흐름을 생성 모델이 합성할 수 있는가?
• RQ2 프레임 단위 GAN과 비교했을 때 시간적 판별기를 추가하면 생성 흐름의 시간적 일관성이 개선되는가?
• RQ3 속도, 소용돌이와 같은 물리적 정보를 포함한 입력과 데이터 증강이 생성 흐름의 현실성 및 제어 가능성에 어떤 영향을 미치는가?
• RQ4 물리 기반 GAN에서 공간적 디테일과 시간적 일관성을 가장 잘 균형 있게 맞추는 훈련 전략과 손실 구성은 무엇인가?

주요 결과

• 시간적 판별기가 생성기가 시간에 걸쳐 시간적으로 일관되고 상세한 흐름장을 생성하도록 한다.
• 속도와 소용돌이를 입력으로 포함시키는 것은 현실성과 출력에 대한 예술적 제어를 제공한다.
• 물리 인식 데이터 증강은 과적합을 방지하고 학습 중 메모리 사용을 줄이는 데 매우 중요하다.
• 결합된 tempoGAN 목표는 단일 저해상도 프레임에서 추론된 매우 상세하고 시간적으로 매끄러운 4D 흐름장을 산출한다.
• 이 방법은 2D 및 3D 흐름 문제에서 즉시 추론(한 시간 스텝)으로 시연된다.