[논문 리뷰] Optimal transport mapping via input convex neural networks

Ashok Vardhan Makkuva, Amirhossein Taghvaei외 2명|arXiv (Cornell University)|2019. 08. 28.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 39

한 줄 요약

논문은 2-웰라스턴 거리 하에서 분포 간의 최적 수송 맵을 학습하기 위해 입력 볼록 신경망(ICNN)을 사용하는 미니맥스 프레임워크를 제시하며, 수송 맵을 볼록 함수의 기울기로 표현합니다.

ABSTRACT

In this paper, we present a novel and principled approach to learn the optimal transport between two distributions, from samples. Guided by the optimal transport theory, we learn the optimal Kantorovich potential which induces the optimal transport map. This involves learning two convex functions, by solving a novel minimax optimization. Building upon recent advances in the field of input convex neural networks, we propose a new framework where the gradient of one convex function represents the optimal transport mapping. Numerical experiments confirm that we learn the optimal transport mapping. This approach ensures that the transport mapping we find is optimal independent of how we initialize the neural networks. Further, target distributions from a discontinuous support can be easily captured, as gradient of a convex function naturally models a {\em discontinuous} transport mapping.

연구 동기 및 목표

• 샘플로부터 규제 편향 없이 분포 간의 최적 수송 맵 학습 동기를 제시합니다.
• 대칭 문제를 볼록화하고 제약된 투영을 회피하는 미니맥스 형식을 제안합니다.
• ICNN을 활용해 볼록 함수와 그 쌍대 함수를 매개화하고 수송 맵을 기울기로 복원합니다.
• 제안된 프레임워크 하에서 학습 맵의 일관성과 안정성을 확립합니다.
• 깊은 생성 모델링 도구로서 고차원 및 실제 데이터셀에의 적용 가능성을 시연합니다.

제안 방법

• 2-웰라스턴 이중 문제를 형식화하고 제약 조건을 볼록화하여 최소-최대 목적 함수(식(5))를 얻습니다.
• 볼록 함수 f와 그 켜를 이용해 W2^2(P,Q)를 단일 볼록 함수로 표현하도록 재표현합니다(정리 3.3).
• 입력에서의 볼록성을 보장하기 위해 ICNN으로 볼록 함수 f를 매개화합니다.
• 수송 맵을 볼록 함수의 기울기로 표현합니다(최소-최대 설정에서 g의 기울기).
• 확률적 최적화(Adam)를 사용해 얻은 최소-최대 문제를 해결하고, 안정성을 위해 f의 ICNN에서 가중치를 비음수로 강제하고 선택적 정규화를 g에 적용합니다(식 9).
• 일관성(정리 3.3) 및 학습 맵의 안정성 경계(정리 3.6)와 같은 이론적 보장을 제공합니다.

실험 결과

연구 질문

• RQ1 프 primal 문제의 편향을 유발하는 규제 없이 Q에서 P로의 최적 수송 맵 T*을 샘플로부터 학습할 수 있는가?
• RQ2 ICNN으로 매개화될 때 볼록 함수에 대한 미니맷 형식이 정확한 2-Wasserstein 수송 맵을 얻을 수 있는가?
• RQ3 수송 맵을 볼록 함수의 기울기로 표현하면 불연속적인 수송 매핑과 지지 간의 더 뚜렷한 경계가 가능해지는가?
• RQ4 제안된 방법은 표준 OT 기반 또는 GAN 기반 접근법과 비교해 고차원 및 실제 데이터에서 어떻게 성능을 보이는가?
• RQ5 학습 맵은 초기화 및 학습 역학에 대해 견고한가, 안정성 경계가 수립 가능한가?

주요 결과

• 제안된 미니맥스 ICNN 기반 프레임워크는 단순한 분포에서 복잡한 분포까지의 최적 수송 사이의 시각적·정성적 일치를 보이는 수송 맵을 산출합니다.
• W1-LP 및 W2GAN 기준선과 달리 초기화에 민감하지 않으며 초기화에 강건합니다.
• 볼록 함수의 기울기 표현은 불연속 수송 매핑을 가능하게 하여 분리된 지지 간의 경계를 더 뚜렷하게 만듭니다.
• 고차원 데이터(Gaussian-Gaussian, Gaussian-혼합, MNIST 기반 작업 등)에서 이 접근법이 비교적 높은 정확도로 복잡한 분포에 확장될 수 있음을 보여줍니다.
• 728차원 가우시안 수송에서의 정량적 결과는 목표 시프트 크기(alpha) 증가에 따라 평균 수송 오차가 증가하는 경향을 보이며, 평균 수송 오차와 상대 오차에 대한 구체적 값이 보고됩니다.
• 이론적 기여로는 학습 맵에 대한 일관성 결과(정리 3.3)와 안정성 경계(정리 3.6)가 포함됩니다.