[논문 리뷰] Projection Robust Wasserstein Distance and Riemannian Optimization

Tianyi Lin, Chenyou Fan외 3명|arXiv (Cornell University)|2020. 06. 12.

Geometric Analysis and Curvature Flows참고 문헌 83인용 수 5

한 줄 요약

이 논문은 비볼록성과 비연속성으로 인해 이전에 비탄성으로 간주되었던 투영 복원 워샤르스타인(PRW) 거리의 효율적 계산을 위해 리emannian 최적화 프레임워크를 제안한다. 최소최대 의미에서의 난이도 결과에도 불구하고, 저자들은 실제 데이터에서 PRW가 효율적으로 계산될 수 있음을 보여주며, 합리적이고 실용적인 데이터, 특히 MNIST와 셰익스피어 텍스트 코퍼스를 포함한 합성 및 실제 데이터에서 SRW와 같은 볼록 완화 기법보다 강건성과 표본 복잡도 측면에서 뛰어나다.

ABSTRACT

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP extit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

연구 동기 및 목표

• 비볼록성과 비연속성으로 인해 계산이 비탄성으로 간주되는 투영 복원 워샤르스타인(PRW) 거리의 계산 문제를 해결하기 위해.
• 이전의 비가능성 주장에 대비하여, 리emannian 최적화를 활용해 PRW를 실질적으로 효율적으로 계산할 수 있음을 보여주기 위해.
• 이산 설정에서 PRW를 계산하기 위한 이론적 수렴 보장과 실용적인 알고리즘을 제공하기 위해.
• 실증적으로 PRW가 SRW와 같은 볼록 완화 기법보다 강건성과 표본 복잡도 측면에서 뛰어나다는 것을 검증하기 위해, 특히 고분산 노이즈 하에서의 성능을 중심으로.
• PRW에 대한 계산 이론을 구축하고, 최적 운반 이론과 리emannian 최적화를 연결하기 위해.

제안 방법

• 정규직교 k-프레임의 스티펠 맨거리드 위에서 비볼록성과 비연속성을 가지는 최적화 문제로 PRW 거리를 공식화한다.
• 하나의 하위공간 선택 문제를 해결하기 위해 스티펠 맨거리드 위에서 리emannian 공액 기울기 및 신뢰영역 방법을 포함한 리emannian 최적화 기법을 적용한다.
• 수치적 안정성과 수렴성을 향상시키기 위해 PRW 공식화에 엔트로피 정규화를 도입한다.
• 이론적 복잡도 한계를 보장하는 세 가지 알고리즘을 개발하며, 이 중 하나는 부록에 포함되어 있어 근사 전역 최적해로의 수렴을 보장한다.
• 최적화 도메인의 다양체 구조를 활용하기 위해 리emannian 기하학을 적용하여 효율적이고 안정적인 갱신을 가능하게 한다.
• 리emannian 최적화와 엔트로피 정규화를 조합하여 계산 효율성과 통계적 강건성 사이의 균형을 이루도록 한다.

실험 결과

연구 질문

• RQ1 비볼록성과 비연속성의 특성에도 불구하고, PRW 거리는 실질적으로 효율적으로 계산될 수 있는가?
• RQ2 리emannian 최적화는 SRW와 같은 볼록 완화 기법에 비해 PRW 계산에 실현 가능하고 확장 가능한 대안이 될 수 있는가?
• RQ3 고분산 노이즈 하에서 PRW는 SRW 및 표준 워샤르스타인 거리와 비교해 강건성 측면에서 어떻게 다른가?
• RQ4 실제 데이터셋, 예를 들어 MNIST와 셰익스피어 텍스트 코퍼스에서 PRW의 실증적 성능은 어떠한가?
• RQ5 제안된 리emannian 최적화 프레임워크는 이산 설정에서 PRW에 대해 이론적 수렴 보장을 달성할 수 있는가?

주요 결과

• 8편의 셰익스피어 오페라 코퍼스에서 PRW 거리는 항상 SRW 거리보다 작았으며, 이는 텍스트 유사도에 대해 인간의 직관과 더 잘 일치함을 시사한다.
• MNIST 숫자 분류에서 PRW 거리는 인간이 숫자 유사도를 인지하는 방식과 더 일치하며, D1과 D7, D4와 D9와 같은 빛의 유사성 쌍을 정확히 식별하는 최소 거리를 보였다.
• Niles-Weed와 Rigollet(2019) 및 Lin 등(2021)의 이론적 결과에 따르면, 미약한 분포 조건 하에서 PRW는 SRW보다 더 낮은 표본 복잡도를 달성한다.
• 실험 결과, 특히 고차원 설정에서 중간에서 높은 분산을 가진 노이즈 하에서 PRW는 SRW 및 표준 워샤르스타인 거리보다 더 강건함을 보였다.
• 제안된 리emannian 최적화 알고리즘은 신뢰성 있게 수렴하며, 계산 효율성과 해의 품질 측면에서 프랭크-울프 기반 접근법보다 뛰어나다.
• 측도 간 최적의 2차원 투영(예: 'Dunkirk'과 'Interstellar' 사이)은 의미론적 의미를 담고 있으며, 보라색으로 강조된 공통 단어들이 의미 있는 구조를 반영함으로써 PRW의 해석 가능성과 일치함을 확인한다.