[논문 리뷰] Scalable Computations of Wasserstein Barycenter via Input Convex Neural Networks

Jiaojiao Fan, Amirhossein Taghvaei외 1명|arXiv (Cornell University)|2020. 07. 08.

Topological and Geometric Data Analysis참고 문헌 45인용 수 18

한 줄 요약

이 논문은 캄코비치 쌍대 공식화에서 볼록 잠재 함수를 매개변수화하기 위해 입력 볼록 신경망(ICNNs)을 사용하여 고차원 연속 공간에서 워셔스타인 바리센터를 계산하는 확장 가능한 알고리즘을 제안한다. 바리센터를 생성 모델로 모델링함으로써, 모수 분포에 대한 접근이 필요 없이 효율적이고 무한한 샘플링이 가능해지며, 고차원 벤치마크에서 정확도와 확장성 면에서 이전 방법들을 능가한다.

ABSTRACT

Wasserstein Barycenter is a principled approach to represent the weighted mean of a given set of probability distributions, utilizing the geometry induced by optimal transport. In this work, we present a novel scalable algorithm to approximate the Wasserstein Barycenters aiming at high-dimensional applications in machine learning. Our proposed algorithm is based on the Kantorovich dual formulation of the Wasserstein-2 distance as well as a recent neural network architecture, input convex neural network, that is known to parametrize convex functions. The distinguishing features of our method are: i) it only requires samples from the marginal distributions; ii) unlike the existing approaches, it represents the Barycenter with a generative model and can thus generate infinite samples from the barycenter without querying the marginal distributions; iii) it works similar to Generative Adversarial Model in one marginal case. We demonstrate the efficacy of our algorithm by comparing it with the state-of-art methods in multiple experiments.

연구 동기 및 목표

• 기존의 선형 프로그래밍 및 엔트로피 정규화 방법이 실패하는 고차원 연속 공간에서 워셔스타인 바리센터 추정의 계산 병목 현상을 해결하기 위해.
• 바리센터를 생성 모델로 표현하여 모수 분포를 쿼리하지 않고도 무한한 샘플링이 가능하도록 하기 위해.
• 캄코비치 공식화에서 유효한 쌍대 잠재 함수를 보장하기 위해 입력 볼록 신경망(ICNNs)의 볼록성 유지 성질을 활용하기 위해.
• 이전 방법에서 사용하는 정규화 항으로 인한 편향을 제거하기 위해 ICNN 아키텍처를 통해 직접적으로 볼록성을 강제하기 위해.
• 고차원의 시뮬레이션 및 실제 데이터 세트에서 최신 기술 대비 확장성과 정확도 향상을 입증하기 위해.

제안 방법

• 워셔스타인-2 거리의 캄코비치 쌍대 공식화를 사용하여 바리센터 문제를 볼록 함수 위의 최적화 문제로 재구성한다.
• 쌍대 잠재 함수를 매개변수화하기 위해 입력 볼록 신경망(ICNNs)을 사용하여 함수가 구조적으로 볼록성을 유지하도록 보장한다.
• 바리센터는 노이즈를 바리센터 분포의 샘플로 변환하는 생성 네트워크로 표현되며, 이는 효율적이고 무한한 샘플링을 가능하게 한다.
• 최적화는 최소-최대-최소 문제로 구성되며, 생성자에 대해 최소화하고, 쌍대 잠재 함수에 대해 최대화하며, 쌍대 함수에 대해 다시 최소화한다.
• 입력 분포의 명시적 이산화가 필요 없이, 스토하스틱 최적화를 사용하여 엔드 투 엔드로 프레임워크를 훈련한다.
• 일반적인 한 개의 모수 분포 케이스에서는, 생성자 모델이 바리센터 분포를 일치시키기 위해 훈련되며, GAN과 유사한 동작을 보인다.

실험 결과

연구 질문

• RQ1 ICNN 기반의 딥 생성 모델이 고차원 연속 공간에서 워셔스타인 바리센터를 효과적으로 표현할 수 있는가?
• RQ2 ICNN를 통해 볼록성을 강제함으로써 이전의 신경망 기반 접근에서 발생하는 정규화 항으로 인한 편향을 제거할 수 있는가?
• RQ3 고차원 설정에서 최신 알고리즘 대비 성능과 정확도 면에서 제안된 방법의 확장성은 어떠한가?
• RQ4 단일 훈련 프로세스를 통해 임의의 가중치를 가진 바리센터를 학습할 수 있는가?
• RQ5 기존 방법과 비교해 복수의 제곱 함수 케이스에서 제안된 공식화의 최적화 지형은 어떠한가?

주요 결과

• 제안된 방법은 고차원 시뮬레이션 및 실제 데이터 벤치마크에서 Korotin 등(2021b) 및 Li 등(2020)을 포함한 최신 기술보다 유의미하게 높은 추정 정확도를 달성한다.
• 제곱 함수 케이스에서는 문제의 형태가 부드러운 볼록-볼록-볼록 최적화 문제로 단순화되며, Korotin 등(2021b)의 비연속적이고 비볼록적인 공식화와 달리 안정적인 수렴을 보장한다.
• 최적의 생성자는 동일한 공분산을 가진 가우시안 모수 분포에 대해 정확한 바리센터를 학습하며, 평균이 ∑a_i m_i에 해당함을 확인하여 이론적 일致성을 입증한다.
• 이전 연구에서 사용된 일치성 또는 사이클 정규화 항과 같은 복잡한 정규화 항이나 사전 분포 선택이 필요 없음을 확인하였다.
• 실험 결과, 방법이 고차원 설정으로의 확장에 효과적으로 대응하며, 엔트로피 정규화 및 프리-서포트 방법보다 속도와 정확도 면에서 뛰어나다.
• 프레임워크는 한 모수 분포 케이스에서 GAN으로도 변환 가능하여, 그 유연성과 생성 능력을 입증한다.