[논문 리뷰] Enforcing Deterministic Constraints on Generative Adversarial Networks for Emulating Physical Systems

Yang Zeng, Jinlong Wu외 1명|arXiv (Cornell University)|2019. 11. 15.

Model Reduction and Neural Networks참고 문헌 30인용 수 15

한 줄 요약

이 논문은 생성 적대 신경망(GAN)의 생성자 손실에 발산 없는 속도장이나 기하학적 형태와 같은 결정론적이고 모호한 물리적 제약 조건을 직접 통합하여 학습 안정성과 샘플 정밀도를 향상시키는 방법을 제안한다. 이 제약 조건들은 미분 가능한 페널티 항을 통해 강제되며, 제약 조건이 정확하게 만족되지 않더라도 수렴 속도를 가속화하고 강건성을 향상시킨다. 이는 기하학적 제약과 미분 제약 작업 모두에서 표준 GAN에 비해 뚜렷한 성능 향상을 보여준다.

ABSTRACT

Generative adversarial networks (GANs) were initially proposed to generate images by learning from a large number of samples. Recently, GANs have been used to emulate complex physical systems such as turbulent flows. However, a critical question must be answered before GANs can be considered trusted emulators for physical systems: do GANs-generated samples conform to the various physical constraints? These include both deterministic constraints (e.g., conservation laws) and statistical constraints (e.g., energy spectrum of turbulent flows). The latter have been studied in a companion paper (Wu et al., Enforcing statistical constraints in generative adversarial networks for modeling chaotic dynamical systems. Journal of Computational Physics. 406, 109209, 2020). In the present work, we enforce deterministic yet imprecise constraints on GANs by incorporating them into the loss function of the generator. We evaluate the performance of physics-constrained GANs on two representative tasks with geometrical constraints (generating points on circles) and differential constraints (generating divergence-free flow velocity fields), respectively. In both cases, the constrained GANs produced samples that conform to the underlying constraints rather accurately, even though the constraints are only enforced up to a specified interval. More importantly, the imposed constraints significantly accelerate the convergence and improve the robustness in the training, indicating that they serve as a physics-based regularization. These improvements are noteworthy, as the convergence and robustness are two well-known obstacles in the training of GANs.

연구 동기 및 목표

• turbulent 흐름과 같은 복잡한 물리 시스템에서 GAN이 생성하는 샘플에 물리적 일관성이 부족한 문제를 해결하기 위해.
• 적대적 학습에서 잘 알려진 과제인 GAN 학습의 수렴성과 강건성 향상하기 위해.
• 정확한 제약 조건 만족이 필요 없이 결정론적이고 모호한 물리적 제약 조건을 GAN에 일반화 가능하게 통합하는 프레임워크 개발하기 위해.
• 생성자 손실 함수에 제약 조건 강제를 통한 물리 기반 정규화의 효과 평가하기 위해.
• 정확하지 않은 물리적 제약 조건이라도 GAN 성능 향상에 뚜렷한 기여를 할 수 있음을 보여주기 위해.

제안 방법

• 발산 없는 속도장이나 원 위의 점과 같은 결정론적 물리 제약 조건을 생성자 손실 함수에 다양한 페널티 항으로 통합하기 위해.
• 제약 조건 위반 값이 허용 오차 ε를 초과할 경우에만 작동하는 제약 손실 함수를 사용하여, 약간의 모호함을 허용하는 제약 강제를 구현하기 위해.
• 제약 위반의 크기를 함수로 표현하여, 예를 들어 ∇·v가 ε를 초과할 경우 |∇·v|와 같이 미분 가능하게 정의하기 위해.
• 표준 적대적 프레임워크를 사용하여 GAN을 학습하지만, 적대적 손실과 물리 제약 페널티를 모두 포함한 수정된 생성자 손실을 사용하기 위해.
• 제약 항의 가중치 λ와 허용 오차 ε를 조정하여 수렴성과 제약 조건 만족도에 미치는 영향 분석하기 위해.
• 두 가지 테스트 케이스에서 성능 평가하기: 원 위의 점 생성(기하 제약 조건), 발산 없는 속도장 생성(미분 제약 조건).

실험 결과

연구 질문

• RQ1 정확하지 않은 결정론적 제약 조건을 효과적으로 GAN에 통합하여 학습 수렴성과 강건성을 향상시킬 수 있는가?
• RQ2 제약 조건 허용 오차 ε의 수준이 GAN 학습에서 제약 조건 강제의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 제약 조건 페널티를 통한 물리 기반 정규화가 표준 GAN에 비해 생성 샘플의 품질을 얼마나 향상시키는가?
• RQ4 정확하게 만족되지 않는 제약 조건을 강제해도 여전히 GAN 성능에 의미 있는 향상이 이루어지는가?
• RQ5 예를 들어 ε-허용 오차 기반의 비연속적 제약 손실 함수가 학습 안정성에 어떤 영향을 미치는가?

주요 결과

• 물리 기반 GAN은 제약 조건이 정확히 만족되지 않더라도 표준 GAN에 비해 학습 수렴 속도를 크게 향상시키고 강건성을 개선한다.
• 발산 없는 속도장 작업에서 ε = 0과 ε = 1일 경우 평균 발산 값이 훈련 데이터와 유사하게 거의 0에 수렴했지만, ε = 2.3일 경우 제약 손실 함수가 간헐적으로 작동하면서 불안정성이 발생했다.
• 표준 GAN(ε → ∞에 해당)은 제약 조건이 강제된 GAN(ε = 0 또는 ε = 1)보다 더 큰 평균 발산을 보였으며, 이는 제약 조건 강제가 물리적 정밀도를 향상시킨다는 것을 시사한다.
• ε를 허용 오차로 사용하는 제약 손실 함수는 제약 위반이 ε를 초과할 때 기울기가 비연속적으로 변하게 하여, ε가 너무 클 경우(예: ε = 2.3) 불안정성이 발생했으며, 이는 변동성이 큰 학습 히스토그램으로 관찰되었다.
• ε = 1과 같은 모호한 제약 조건 조건 하에서도 GAN은 물리 제약 조건을 거의 정확히 만족하는 샘플을 생성했으며, 이는 정규화 접근의 효과를 입증한다.
• 이 방법은 원과 같은 기하 제약 조건과 발산 없는 제약 조건과 같은 미분 제약 조건을 성공적으로 강제하여 다양한 물리 시스템에 넓은 적용 가능성을 보였다.