[논문 리뷰] Potential Flow Generator with $L_2$ Optimal Transport Regularity for Generative Models

Liu Yang, George Em Karniadakis|arXiv (Cornell University)|2019. 08. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 5

한 줄 요약

이 논문은 $L_2$ 최적 운반 정규화를 갖는 잠재 흐름 생성자(潜在流生成器)를 제안하여, 입력 샘플이 구조적으로 유사한 근처 출력으로 매핑되도록 보장함으로써, 쌍방이 없는 데이터로도 이미지 번역 성능을 향상시킨다. 이 방법은 GAN과 흐름 기반 모델에 원활하게 통합되며, 기존 접근 방식에 비해 향상된 근접성과 강건성을 달성한다.

ABSTRACT

We propose a potential flow generator with $L_2$ optimal transport regularity, which can be easily integrated into a wide range of generative models including different versions of GANs and flow-based models. We show the correctness and robustness of the potential flow generator in several 2D problems, and illustrate the concept of "proximity" due to the $L_2$ optimal transport regularity. Subsequently, we demonstrate the effectiveness of the potential flow generator in image translation tasks with unpaired training data from the MNIST dataset and the CelebA dataset.

연구 동기 및 목표

• 쌍방이 없는 설정에서 이미지 번역의 구조적 대응성을 향상시키기 위해 $L_2$ 최적 운반 정규화를 강제하는 생성자를 개발하는 것.
• $L_2$ 최적 운반 정규화를 GAN과 흐름 기반 모델을 포함한 다양한 생성 모델에 최소한의 아키텍처 변경으로 통합할 수 있도록 하는 것.
• $L_2$ 최적 운반 정규화가 유사한 입력을 유사한 출력으로 매핑하는 '근접성' 성질을 유도한다는 것을 입증하는 것.
• MNIST와 CelebA 데이터셋을 사용한 2차원 문제와 실제 이미지 번역 작업에서, 쌍방이 없는 데이터를 활용해 방법을 검증하는 것.
• 이산형과 연속형 잠재 흐름 생성자 간의 비교를 통해 연속형 버전이 더 뛰어난 강건성을 보임을 보여주는 것.

제안 방법

• 연속형 잠재 흐름 생성자를 제안하며, $L_2$ 최적 운반 맵에서 유도된 PDE를 푸는 방식으로 구현하고, 신경망을 통해 속도 잠재함수를 표현한다.
• 이산점들에 대해 $L_2$ 최적 운반 조건을 닫힌 형태의 해를 통해 직접 강제하는 이산형 잠재 흐름 생성자를 구현한다.
• 기존 생성자 손실 함수에 연속성 방정식과 $L_2$ 최적 운반 조건에서 유도된 PDE 페널티 항을 추가한다.
• 피드포워드 신경망을 사용해 생성자를 정의하는 데 사용되는 잠재함수 $\tilde{\phi}$를 매개변수화한다. 생성자는 $\tilde{\phi}$의 기울기로 정의된다.
• Adam 옵timizer를 사용하고, $10,000$개의 훈련 스텝를 수행하며 $L_2$ 페널티 가중치를 1.0으로 설정하여, GAN과 연속 정규화 흐름 모두에 이 방법을 적용한다.
• 이미지 번역 작업에서 벡터 공간 내에서의 번역을 가능하게 하기 위해, PCA를 사용해 이미지를 700차원 유클리드 공간으로 임bedding한다.

실험 결과

연구 질문

• RQ1 잠재 흐름 생성자에 $L_2$ 최적 운반 정규화를 적용하면 쌍방이 없는 설정에서 이미지 번역의 품질과 구조적 대응성이 향상되는가?
• RQ2 $L_2$ 최적 운반 정규화는 어떻게 '근접성' 성질을 강제하여 유사한 입력을 유사한 출력으로 매핑하는가?
• RQ3 연속형 잠재 흐름 생성자가 이산형 버전에 비해 최적 운반 맵 추정에서 더 뛰어난 강건성과 정확도를 보이는가?
• RQ4 이 방법은 전용 손실 함수가 필요 없이 GAN과 흐름 기반 모델을 포함한 다양한 생성 모델에 원활하게 통합될 수 있는가?
• RQ5 분석적 해와 비교했을 때, 이 방법은 MNIST와 CelebA와 같은 복잡한 실제 분포에서 얼마나 효과적인가?

주요 결과

• 복잡한 분포에서 연속형 잠재 흐름 생성자가 이산형 버전에 비해 더 높은 강건성과 정확도를 보이며 $L_2$ 최적 운반 맵을 추정하는 데 성공한다.
• MNIST 데이터셋에서 생성자는 숫자 0을 6으로, 1을 7로, 3을 5 또는 8로, 4를 9로 성공적으로 매핑하여, 외관상 유사한 번역을 통해 '근접성' 성질을 보여준다.
• CelebA 데이터셋에서 생성자는 웃지 않는 얼굴을 웃는 얼굴로 번역하면서 정체성과 기타 특징을 유지하지만, PCA의 한계로 인해 측면 얼굴이나 흐린 재구성에서는 성능이 저하된다.
• 연속 정규화 흐름에서 생성자는 목표 분포 $\nu$와 $G_\#\mu$를 성공적으로 매칭하며, $\mu$에서 온 샘플들이 근처 위치로 매핑됨을 확인하여 근접 효과를 확인한다.
• 이 방법은 쌍방이 없는 데이터로 효과적인 이미지 번역을 달성하며, $L_2$ 최적 운반 정규화가 CycleGAN과 같은 모델에서 사이클 일致성 손실의 수학적으로 타당한 대안을 제공한다는 것을 보여준다.
• 잠재 흐름 생성자의 통합은 기존 손실 함수에 소량의 수정만으로 이루어져, GAN과 흐름 기반 모델 전반에 걸쳐 넓은 적용 가능성을 보여준다.