[논문 리뷰] Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections

Boris Muzellec, Marco Cuturi|arXiv (Cornell University)|2019. 05. 24.

Natural Language Processing Techniques인용 수 12

한 줄 요약

이 논문은 하위차원 부분공간에 투영되었을 때 최적인, 즉 하위차원 부분공간에 투영된 상태에서 최적인 운반 계획을 제안하며, 이는 저차원 해를 바탕으로 전수치 최적 운반 지도를 구성할 수 있도록 한다. 두 가지 방법—Monge-Independent(MI) 및 Monge-Knothe(MK)—를 제안하며, 가우시안 측도에 대해 닫힌 형태의 해를 제공한다. 이는 도메인 적응 작업에서 표준 Bures 거리보다 부분공간에 투영된 상태에서 성능이 뛰어나다는 것을 보여준다.

ABSTRACT

Computing optimal transport (OT) between measures in high dimensions is doomed by the curse of dimensionality. A popular approach to avoid this curse is to project input measures on lower-dimensional subspaces (1D lines in the case of sliced Wasserstein distances), solve the OT problem between these reduced measures, and settle for the Wasserstein distance between these reductions, rather than that between the original measures. This approach is however difficult to extend to the case in which one wants to compute an OT map (a Monge map) between the original measures. Since computations are carried out on lower-dimensional projections, classical map estimation techniques can only produce maps operating in these reduced dimensions. We propose in this work two methods to extrapolate, from an transport map that is optimal on a subspace, one that is nearly optimal in the entire space. We prove that the best optimal transport plan that takes such "subspace detours" is a generalization of the Knothe-Rosenblatt transport. We show that these plans can be explicitly formulated when comparing Gaussian measures (between which the Wasserstein distance is commonly referred to as the Bures or Fréchet distance). We provide an algorithm to select optimal subspaces given pairs of Gaussian measures, and study scenarios in which that mediating subspace can be selected using prior information. We consider applications to semantic mediation between elliptic word embeddings and domain adaptation with Gaussian mixture models.

연구 동기 및 목표

• 표준 운반 이론(OT)이 계산적으로 비가능하고 불안정한 고차원 공간에서 최적 운반 지도를 계산하는 데 도전하는 것.
• 기존의 부분공간 OT 방법들이 감소된 차원에서만 지도를 제공하는 한계를 극복하기 위해, 투영된 상태에서 여전히 최적인 전체 차원의 지도를 구성하는 것.
• 특정 부분공간에서 최적인 운반 지도를 학습하기 위한 프레임워크를 개발하여, 원래의 고차원 공간에서 유효하고 구조적인 지도를 유지하는 것.
• 부분공간 최적화된 운반 지도를 활용하여 도메인 적응 및 의미 중개와 같은 실용적 응용을 가능하게 하며, 일반화 및 강인성을 향상시키는 것.
• 투영된 측도 간 운반 비용을 최소화하는 알고리즘을 사용하여 유의미한 부분공간을 선택하는 원칙적인 방법을 제공하는 것.

제안 방법

• 하나의 부분공간 $E$에 투영되었을 때 최적인 운반 계획의 클래스를 정의하며, 이를 '부분공간 최적' 또는 '회피' 계획이라 한다.
• 두 가지 극단적 구성—조건부 독립성을 가정하는 Monge-Independent(MI) 계획과 조건부 분포의 최적 결합을 사용하는 Monge-Knothe(MK) 지도—를 도입한다.
• 가우시안 측도 간의 MK 및 MI 지도에 대해 닫힌 형태의 표현식을 유도하며, MK 지도가 블록 상삼각 행렬으로 표현되는 선형 변환임을 보여준다.
• 투영된 측도 간 운반 비용을 최소화하여 최적 부분공간 $E$를 선택하는 알고리즘을 제안하며, 경험적 공분산 행렬을 사용한다.
• MK 지도를 도메인 적응에 적용하기 위해, 소스 및 타겟 분포를 가우시안 믹스처 모델(GMM)로 모델링하고, 부분공간 $E$에서의 쌍별 MK 거리를 계산하며, 빈도 중심 투영을 사용해 레이블 전이를 수행한다.
• 약한 수렴과 측도 분해를 사용하여 부분공간 최적 계획의 구조를 정식화하며, 부분공간 $E$에서의 분해를 통해 자유도를 특성화한다.

실험 결과

연구 질문

• RQ1 하위차원 부분공간에 투영되었을 때 최적인 전체 차원의 최적 운반 지도를 구성할 수 있는가?
• RQ2 Monge-Independent(MI) 및 Monge-Knothe(MK) 지도의 구조적 성질은 부분공간 투영에서의 일반화 능력에 어떻게 영향을 미치는가?
• RQ3 부분공간 투영 제약 조건 하에서 가우시안 측도 간 최적 운반 지도의 닫힌 형태 표현식은 무엇인가?
• RQ4 운반 비용을 최소화하면서도 의미 있는 기하학적 구조를 유지하는 중간 부분공간 $E$를 자동으로 선택할 수 있는가?
• RQ5 부분공간 최적 운반 지도는 표준 OT나 슬라이스 OT에 비해 도메인 적응이나 단어 임베딩 중개와 같은 후행 작업에서 성능을 향상시킬 수 있는가?

주요 결과

• Monge-Knothe(MK) 지도는 부분공간에 투영되었을 때 가우시안 측도 간 최적 운반에 대해 닫힌 형태의 해를 제공하며, 블록 상삼각 행렬으로 표현되는 선형 변환으로 나타난다.
• 가우시안 측도에 대해 MK 지도는 Knothe-Rosenblatt 지도와 동일하며, 부분공간 최적 운반으로 일반화된 것이다.
• Office Home 데이터셋을 사용한 도메인 적응에서, 제안된 알고리즘을 통해 선택된 MK 지도는 부분공간에 투영된 상태에서 표준 Bures 지도와 비교해 유사하거나 더 높은 1-NN 정확도를 달성한다. 이는 저차원화된 상태에서도 성능이 유지됨을 의미한다.
• MK 지도의 성능은 부분공간 선택에 매우 민감하다—최적의 결과는 오직 최소화 알고리즘을 통해 선택된 $E$에서만 달성되며, 임의의 부분공간에서는 그렇지 않다.
• 합성 데이터에서 MK 지도는 공통 부분공간을 통해 의미적으로 다를지만 기하학적으로 유사한 임베딩을 정렬함으로써 다의어 단어 임베딩 간의 의미 중개를 성공적으로 복원한다.
• 이 방법은 고차원 특징이 모두 운반 비용에 동일하게 기여하는 것은 아니며, 몇몇 정보가 풍부한 부분공간에 집중함으로써 후행 작업에서의 안정성과 성능이 향상됨을 보여준다.