[논문 리뷰] Scalable Unbalanced Optimal Transport using Generative Adversarial Networks

Karren Yang, Caroline Uhler|arXiv (Cornell University)|2018. 10. 26.

Model Reduction and Neural Networks인용 수 15

한 줄 요약

이 논문은 균형 잡히지 않은 최적 운반(OT)을 위한 확장 가능한 생성적 적대적 네트워크(GAN)-기반 프레임워크를 제안한다. 이 프레임워크는 원천 측도와 목표 측도 간 질량 변화를 모델링하기 위해 운반 맵과 스케일링 인자(스케일링 인자)를 함께 학습한다. 균형 잡히지 않은 OT를 몽게 유사 문제로 재구성하고, 볼록 쌍대성 이론을 통해 이를 완화함으로써, GAN과 유사한 효율적이고 확률적, 교차적 경사 하강 업데이트를 가능하게 한다. 이는 MNIST, USPS, CelebA 및 제브라피시 단세포 RNA-seq 데이터에서 인구 모델링 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Generative adversarial networks (GANs) are an expressive class of neural generative models with tremendous success in modeling high-dimensional continuous measures. In this paper, we present a scalable method for unbalanced optimal transport (OT) based on the generative-adversarial framework. We formulate unbalanced OT as a problem of simultaneously learning a transport map and a scaling factor that push a source measure to a target measure in a cost-optimal manner. In addition, we propose an algorithm for solving this problem based on stochastic alternating gradient updates, similar in practice to GANs. We also provide theoretical justification for this formulation, showing that it is closely related to an existing static formulation by Liero et al. (2018), and perform numerical experiments demonstrating how this methodology can be applied to population modeling.

연구 동기 및 목표

• 고전적 최적 운반 이론이 원천 측도와 목표 측도 간 질량 변화를 다루는 데에 한계가 있다는 점을 해결하기 위해.
• 운반과 질량 변화를 모두 지원하는 확장 가능하고 연속적이며 미분 가능한 균형 잡히지 않은 OT를 위한 프레임워크를 개발하기 위해.
• 이중 변수와 발산 정규화를 포함한 완화된 몽게 문제를 통해 GAN 유사 학습 동역학을 균형 잡히지 않은 OT에 확장하기 위해.
• 생물학적 인구 모델링 및 이미지 생성과 같은 고차원 연속 설정에서 균형 잡히지 않은 OT의 실용적 적용을 가능하게 하기 위해.
• 연속 측도를 대상으로 하는 기존 엔트로피-운반 솔버에 대한 확장 가능한 대안을 제공하여 학습 안정성과 수렴 성능을 향상시키기 위해.

제안 방법

• 운반 비용과 발산 페널티를 포함한 비용 함수를 최소화하는 방식으로, 확률적 운반 맵 $ T $ 와 스케일링 인자 $ \xi $ 를 포함한 몽게 유사 문제로 균형 잡히지 않은 OT를 설정한다.
• ψ-발산의 볼록 쌍대성 이론을 활용해 문제를 완화하고, 확률적 경사 하강법에 적합한 이중 최적화 문제로 변환한다.
• GAN에 영감을 받은 교차적 경사 하강 알고리즘을 적용하며, 생성자는 $ T $ 와 $ \xi $ 를 학습하고, 판별자는 이중 변수 $ f $ 를 학습한다.
• ReLU와 시그모이드/소프트플러스 출력 레이어를 사용한 신경망을 $ T $ 와 $ \xi $ 에 적용하고, 학습 안정성을 높이기 위해 경사 하강 페널티를 적용한다.
• 학습 중에 재스케일링 기법을 적용한다: $ \xi $ 가 작을 경우 $ T $ 의 손실을 $ 1/\xi $ 로 스케일링하여 수렴 속도를 높인다.
• Liero 등(2018)이 제안한 최적 엔트로피-운반 문제의 연속 설정에서의 해법을 위한 확장 가능한 알고리즘(부록의 알고리즘 2)을 도입하여 이전 방법을 확장한다.

실험 결과

연구 질문

• RQ1 질량 변화를 명시적으로 모델링하는 GAN 유사 프레임워크가 균형 잡히지 않은 최적 운반 문제를 해결하는 데에 적합한가?
• RQ2 균형 잡히지 않은 OT의 몽게 설정을 어떻게 이중 최적화 문제로 완화할 수 있으며, 이는 확률적이고 딥러닝 기반 최적화에 적합한가?
• RQ3 연속 측도를 가진 균형 잡히지 않은 OT에서 안정성과 수렴 성능을 향상시키기 위해 어떤 학습 동역학과 정규화 전략(예: 경사 하강 페널티)이 효과적인가?
• RQ4 제안된 방법은 이미지 및 단세포 옴믹스 데이터와 같은 고차원 연속 데이터셋에 확장 가능한가?
• RQ5 운반과 스케일링 인자(스케일링 인자)의 공동 학습 방식이 기존 엔트로피-운반 솔버에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 MNIST, USPS 및 CelebA 데이터셋에서 인구 변환 작업에서 질량 변화와 운반을 성공적으로 모델링한다.
• 제브라피시 단세포 RNA-seq 데이터에서, 방법은 현실적인 세포 인구 역학을 반영하며 발달 전이를 정확히 포착한다.
• $ \xi $ 와 $ f $ 에 대한 경사 하강 페널티 적용으로 학습 안정성이 크게 향상되었으며, 특히 초반 학습 단계에서 두드러진다.
• $ T $ 의 손실에 대한 재스케일링 기법은 $ \xi $ 가 작을 경우 수렴 속도를 향상시켜, 잘 매칭되지 않은 샘플에 대한 느린 업데이트를 방지한다.
• 기존 엔트로피-운반 솔버와 비교해 경쟁 가능한 성능을 달성하였으며, 연속적이고 고차원 측도에 대한 확장성도 향상되었다.
• 제안된 알고리즘 2는 Chizat 등(2016)의 방법에 대한 확장 가능한 대안을 제공하며, 엔트로피-운반 방법의 적용 가능성을 넓힌다.