[논문 리뷰] Score-based Generative Neural Networks for Large-Scale Optimal Transport

Max Daniels, Tyler Maunu외 1명|arXiv (Cornell University)|2021. 10. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 5

한 줄 요약

이 논문은 랭글레인 역동성을 통해 엔트로피 정규화된 최적 운반 쌍을 샘플링하는 데에 사용되는 스코어 기반 생성 신경망 프레임워크인 SCONES를 제안한다. 이는 이전의 바리센트 프로젝션 방법에서 발생하는 평균화 아티팩트를 피함으로써, 이중 싱크혼 문제의 신경망 파arametrization에서 경사하강법의 수렴성을 증명하고, 대규모 이미지 운반 작업에서 최고의 성능을 보이며 더 선명하고 현실적인 샘플을 생성한다.

ABSTRACT

We consider the fundamental problem of sampling the optimal transport coupling between given source and target distributions. In certain cases, the optimal transport plan takes the form of a one-to-one mapping from the source support to the target support, but learning or even approximating such a map is computationally challenging for large and high-dimensional datasets due to the high cost of linear programming routines and an intrinsic curse of dimensionality. We study instead the Sinkhorn problem, a regularized form of optimal transport whose solutions are couplings between the source and the target distribution. We introduce a novel framework for learning the Sinkhorn coupling between two distributions in the form of a score-based generative model. Conditioned on source data, our procedure iterates Langevin Dynamics to sample target data according to the regularized optimal coupling. Key to this approach is a neural network parametrization of the Sinkhorn problem, and we prove convergence of gradient descent with respect to network parameters in this formulation. We demonstrate its empirical success on a variety of large scale optimal transport tasks.

연구 동기 및 목표

• 고차원, 대규모 데이터셋에서 정확한 최적 운반의 계산 불가능성 문제를 해결하기 위해.
• 이전의 정규화된 최적 운반 접근법에서 사용된 바리센트 프로젝션 방법에 내재된 평균화 아티팩트를 제거하기 위해.
• 스코어 기반 생성 모델링을 사용하여 소스 및 타겟 분포 간의 싱크혼 쌍을 학습하기 위한 기울기 가능하고 확장 가능한 프레임워크를 개발하기 위해.
• 이중 정규화된 최적 운반 문제의 신경망 파arametrization에서 경사하강법의 수렴성을 증명하기 위해.
• 합성 및 고차원 이미지 운반 작업에서의 방법에 대한 경험적 검증을 통해 샘플 품질 향상과 평균화 아티팩트 감소를 입증하기 위해.

제안 방법

• 이 방법은 이중 정규화된 최적 운반 문제를 신경망을 사용해 이중 변수를 파arametrization하여 엔드 투 엔드 학습이 가능하도록 구성한다.
• 소스 데이터에 조건부 랭글레인 역동성을 적용하여 조건부 분포 π(Y|X=x)에서 반복적으로 샘플링함으로써 싱크혼 쌍을 근사한다.
• 스코어 기반 생성 모델은 타겟 분포의 스코어 함수를 추정하기 위해 노이즈 제거 스코어 매칭을 통해 훈련된다.
• 소스와 타겟 간의 호환성 함수는 신경망으로 파arametrization되며, 이는 이중 목표를 최대화하기 위해 경사하강법으로 최적화된다.
• 최적화의 안정성과 일반화 성능 향상을 위해 이중 문제에서 χ² 또는 KL 정규화를 사용한다.
• 노이즈 안내 스케줄을 사용하여 샘플링을 수행하며, 노이즈 수준마다 ε의 스텝 크기와 T단계를 거쳐 노이즈 분포에서 시작하여 점차 노이즈를 제거함으로써 샘플을 생성한다.

실험 결과

연구 질문

• RQ1 스코어 기반 생성 모델이 바리센트 프로젝션에 의존하지 않고 정규화된 최적 운반 쌍에서 효과적으로 샘플링할 수 있는가?
• RQ2 넓은 네트워크 가정 하에 이중 싱크혼 문제의 신경망 파arametrization에서 경사하강법이 전역 최대화자로 수렴할 수 있는가?
• RQ3 고차원 이미지 데이터에서 기존 방법 대비 샘플 품질 향상과 평균화 아티팩트 감소 측면에서 제안된 방법이 우월한가?
• RQ4 이 방법은 CelebA 및 MNIST와 같은 대규모 데이터셋에 어떻게 스케일링되며, FID 및 시각적 충실도 측면에서 성능은 어떠한가?
• RQ5 다양한 정규화 기법(χ² 대비 KL)과 안내 스케줄의 영향은 샘플 품질과 최적화 안정성에 어떤가?

주요 결과

• SCONES는 CelebA에서 Blur-CelebA로의 이동 및 MNIST에서 USPS로의 이동 작업에서 최고의 FID 점수를 기록했으며, CelebA에서는 FID 10.2, MNIST에서는 12.8을 기록하여 바리센트 프로젝션 기반 베이스라인을 초월했다.
• 이 방법은 이전 방법에서 흔히 발생하는 흐림과 평균화 아티팩트를 제거하여 더 선명하고 현실적인 샘플을 생성한다.
• 합성 가우시안-에서-가우시안 운반 작업에서 SCONES는 추정된 쌍에 대해 평균 제곱 오차 0.003을 기록하여 최적 운반 맵을 높은 정확도로 학습했음을 나타낸다.
• 이론적 분석을 통해 넓은 네트워크 가정 하에 신경망 파arametrization에서의 경사하강법가 이중 문제의 전역 최대화자로 수렴하며, 안정성 분석을 통해 최적화 오차 경계를 도출했다.
• 경험적 아블레이션 결과, 이미지 데이터셋에서 χ² 정규화(λ=0.001)가 샘플 품질과 훈련 안정성 사이의 최적의 균형을 이룬다.
• 이 방법은 64×64 이미지 데이터에 대해 효과적으로 스케일링되며, CelebA에서 210,000 이터레이션 이내에 훈련이 완료되고, 단일 GPU에서 샘플당 추론 시간이 100ms 미만이다.