[논문 리뷰] On Robust Optimal Transport: Computational Complexity and Barycenter Computation

Khang Le, Huy Hoang Nguyen외 4명|arXiv (Cornell University)|2021. 02. 13.

Markov Chains and Monte Carlo Methods참고 문헌 37인용 수 4

한 줄 요약

이 논문은 KL 발산을 통한 균형 제약의 완화를 통해 강건한 최적 운반(ROT)을 제안하며, 복잡도 Õ(n²/ε)를 갖는 Sinkhorn 기반 알고리즘을 통해 더 빠른 계산을 가능하게 한다. 이는 m=2일 때 기존 방법보다 우수한 복잡도 Õ(mn²/ε)를 달성하는 RobustIBP를 도입하여, 데이터 오염 상황에서도 효율적이고 강건한 생성 모델링과 도메인 적응을 가능하게 한다.

ABSTRACT

We consider robust variants of the standard optimal transport, named robust optimal transport, where marginal constraints are relaxed via Kullback-Leibler divergence. We show that Sinkhorn-based algorithms can approximate the optimal cost of robust optimal transport in $\widetilde{\mathcal{O}}(\frac{n^2}{\varepsilon})$ time, in which $n$ is the number of supports of the probability distributions and $\varepsilon$ is the desired error. Furthermore, we investigate a fixed-support robust barycenter problem between $m$ discrete probability distributions with at most $n$ number of supports and develop an approximating algorithm based on iterative Bregman projections (IBP). For the specific case $m = 2$, we show that this algorithm can approximate the optimal barycenter value in $\widetilde{\mathcal{O}}(\frac{mn^2}{\varepsilon})$ time, thus being better than the previous complexity $\widetilde{\mathcal{O}}(\frac{mn^2}{\varepsilon^2})$ of the IBP algorithm for approximating the Wasserstein barycenter.

연구 동기 및 목표

• 데이터 이질성 존재 시 표준 최적 운반의 계산 비효율성과 강건성 부족 문제를 해결하기 위해.
• KL 발산을 사용한 균형 제약의 완화를 통해 강건한 최적 운반을 체계화하여, 노이즈 또는 오염된 데이터에 대한 안정성을 향상시키기 위해.
• 기존 방법보다 개선된 계산 복잡도를 갖는 스케일러블 알고리즘을 개발하여 강건한 바리센터를 계산하기 위해.
• 데이터 오염 상황에서 생성 모델링 및 도메인 적응에 있어 강건한 최적 운반의 실용적 이점을 입증하기 위해.
• 강건한 최적 운반과 강건한 바리센터 계산에 대한 이론적 복잡도 상한을 설정하여, 이전의 Sinkhorn 및 IBP 기반 접근법보다 개선된 성능를 보여주기 위해.

제안 방법

• KL 발산을 통한 부분적 또는 완전한 균형 제약 완화를 통한 두 가지 유형의 강건한 최적 운반을 제안하며, 이는 외곽치에 대한 강건성을 보장한다.
• 강건한 최적 운반 공식화를 해결하기 위해 Sinkhorn 알고리즘을 적응하여, Õ(n²/ε)의 시간 복잡도를 달성하며, 이는 표준 최적 운반보다 빠르고 UOT 복잡도와 동일하다.
• 고정 지지집합을 갖는 강건한 바리센터를 계산하기 위해, 반복 Bregman 투영(IBP)에 영감을 받은 RobustIBP 알고리즘을 도입한다.
• 저랭크 근사(Nyström 방법)를 활용하여 행렬-벡터 연산을 가속화하여, 랭크-r 근사에 대해 Õ(nr² + nr/ε)의 복잡도로 감소시킨다.
• 엔트로피 정규화와 반복 투영 기법을 활용하여 바리센터 계산의 수렴성과 수치적 안정성을 확보한다.
• 생성 모델링에서 강건한 발산(예: RSD)을 근사하기 위해 k회 반복하는 Sinkhorn 업데이트를 활용하여, 데이터 오염에 강건한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 KL 발산 완화를 통한 강건한 최적 운반은 표준 최적 운반보다 더 효율적으로 계산될 수 있는가?
• RQ2 강건한 최적 운반에 대한 Sinkhorn 기반 알고리즘의 계산 복잡도는 무엇이며, 저랭크 근사를 통해 향상시킬 수 있는가?
• RQ3 반복 Bregman 투영(IBP) 프레임워크는 기존 IBP보다 더 높은 복잡도 성능을 달성할 수 있도록 강건한 바리센터 계산에 적응시킬 수 있는가?
• RQ4 강건한 최적 운반은 데이터 오염 상황에서 생성 모델링 성능에 어떻게 기여하는가?
• RQ5 제안된 RobustIBP 알고리즘은 특히 m=2일 때 강건한 바리센터 문제에 대해 근사 최적 복잡도 Õ(mn²/ε)를 달성하는가?

주요 결과

• 강건한 최적 운반을 위한 Sinkhorn 기반 알고리즘은 Õ(n²/ε)의 시간 복잡도를 달성하며, 이는 표준 최적 운반의 Õ(n²/ε²)보다 빠르며 UOT 복잡도와 동일하다.
• Nyström 방법을 통한 저랭크 근사를 적용함으로써 계산 복잡도는 Õ(nr² + nr/ε)로 추가로 감소되며, 여기서 r은 근사된 랭크이다.
• m=2인 강건한 바리센터 문제에 대해 RobustIBP 알고리즘이 Õ(mn²/ε)의 복잡도를 달성하며, 이는 기존 IBP의 Õ(mn²/ε²)보다 개선된 성능이다.
• 실험 결과에 따르면, RSD 기반으로 훈련된 생성 모델은 10%의 오염된 데이터(예: 균일한 노이즈)를 성공적으로 무시하는 반면, 표준 OT 기반 모델은 노이즈가 섞인 샘플을 생성한다.
• 오염된 MNIST 데이터에서 강건한 공식화는 깔끔한 숫자 이미지를 생성하는 반면, 표준 Sinkhorn 기반 훈련은 노이즈와 숫자 패턴이 혼합된 결과를 낳는다.
• 제안된 RobustIBP는 m=2의 최소 경우조차도 강건한 바리센터 계산에 대해 근사 최적 복잡도 Õ(mn²/ε)를 달성하는 최초의 실용적 알고리즘이다.