[논문 리뷰] Statistical Optimal Transport posed as Learning Kernel Embedding

J. Saketha Nath, Pratik Jawanpuria|arXiv (Cornell University)|2020. 02. 08.

Neural Networks and Applications참고 문헌 49인용 수 6

한 줄 요약

이 논문은 최대 평균 차이(MMD)를 통해 정규화된 커널 평균 임베딩을 학습함으로써 운반 계획의 추정을 설정하는 커널 기반 접근법을 제안한다. 미약한 조건 하에서, 운반 계획과 그 Barycentric 투영 지ap의 $\epsilon$-최적 복원에 대해 차원에 종속되지 않는 표본 복잡도 $O(m^{-1/2})$를 달성하며, 이는 연속 영역에서 일致하고 부드럽고 샘플 외 예측이 가능한 추정을 가능하게 한다.

ABSTRACT

The objective in statistical Optimal Transport (OT) is to consistently estimate the optimal transport plan/map solely using samples from the given source and target marginal distributions. This work takes the novel approach of posing statistical OT as that of learning the transport plan's kernel mean embedding from sample based estimates of marginal embeddings. The proposed estimator controls overfitting by employing maximum mean discrepancy based regularization, which is complementary to $ϕ$-divergence (entropy) based regularization popularly employed in existing estimators. A key result is that, under very mild conditions, $ε$-optimal recovery of the transport plan as well as the Barycentric-projection based transport map is possible with a sample complexity that is completely dimension-free. Moreover, the implicit smoothing in the kernel mean embeddings enables out-of-sample estimation. An appropriate representer theorem is proved leading to a kernelized convex formulation for the estimator, which can then be potentially used to perform OT even in non-standard domains. Empirical results illustrate the efficacy of the proposed approach.

연구 동기 및 목표

• 입력 차원에 따라 표본 복잡도가 악화되는 통계적 최적 운반 문제의 차원의 저주를 해결하기 위해.
• 연속적이고 비표준 영역에서도 작동하는, 차원에 종속되지 않는 운반 계획과 지도에 대한 일致 추정기 개발을 위해.
• 기존의 $\phi$-발산 또는 엔트로피 정규화에 의존하는 추정기의 한계를 극복하기 위해, 고차원 환경에서 과적합을 효과적으로 제어하지 못할 수 있음.
• 커널 평균 임베딩에서 유도되는 암묵적 스무딩 덕분에 표본 외 예측이 가능한 방법을 제공하기 위해.
• 재생 커널 힐버트 공간(RKHS)에서의 표현 정리에 기반한 커널화된 볼록 최적화 설정을 통해, 임의의 영역에서 실용적인 구현을 가능하게 하기 위해.

제안 방법

• 운반 계획의 커널 평균 임베딩을 학습하는 방식으로 통계적 최적 운반 문제를 재정의하며, 표본 기반의 주변 커널 임베딩 추정치와 일치하도록 제약 조건을 설정한다.
• 과적합을 제어하기 위해 MMD 기반 정규화를 사용하며, 기존의 $\phi$-발산 또는 엔트로피 정규화와 상보적인 역할을 한다.
• 재생 커널 힐버트 공간(RKHS)에서 볼록 최적화 문제로 설정하며, 유한 차원 해 표현을 가능하게 하는 표현 정리(Representer Theorem)를 활용한다.
• 커널 평균 임베딩의 주변 분포를 $O(m^{-1/2})$의 표본 복잡도로 추정할 수 있음을 활용하여, 차원에 관계없이 일致성과 차원에 종속되지 않는 수렴을 확보한다.
• 최적 해가 경험적 커널 특징의 선형 조합인 영역에 존재함을 보여주는 투영 기반 추론을 통해, 유한 차원 계산이 가능하게 한다.
• Barycentric 투영 지도 추정을 위해 확률적 경사 하강법(SGD)을 사용하며, 수렴 오차는 $O(1/\sqrt{m^\prime})$로 제한되며, 유계 영역 하에서 차원에 종속되지 않는다.

실험 결과

연구 질문

• RQ1 통계적 최적 운반 문제에서 입력 차원에 종속되지 않는 표본 복잡도로 일관된 추정이 가능한가?
• RQ2 커널 평균 임베딩을 사용하여 통계적 OT 문제를 재구성함으로써 암묵적 스무딩과 샘플 외 예측이 가능한가?
• RQ3 MMD 기반 정규화는 $\phi$-발산 정규화와 상보적이고 효과적인 대안이 되는가?
• RQ4 운반 계획의 커널 임베딩에 대해 표현 정리를 확립할 수 있는가? 이를 통해 유한 차원 볼록 최적화 설정이 가능한가?
• RQ5 미약한 정규성 조건 하에서 Barycentric 투영 지도는 차원에 종속되지 않는 표본 복잡도로 복원 가능한가?

주요 결과

• 제안된 추정기는 운반 계획에 대해 $\epsilon$-최적 복원을 $O(m^{-1/2})$의 표본 복잡도로 달성하며, 이는 완전히 차원에 종속되지 않는다.
• Barycentric 투영 기반 운반 지도 역시 미약한 조건 하에서 동일한 차원에 종속되지 않는 표본 복잡도로 복원 가능하다.
• MMD 기반 정규화는 전통적인 엔트로피 또는 $\phi$-발산 정규화와는 별개로 과적합을 효과적으로 제어하는 보완적 메커니즘을 제공한다.
• 커널 평균 임베딩 설정은 암묵적 스무딩을 가능하게 하며, 밀도 기반 방법에 비해 샘플 외 예측을 지원한다. 이는 주요 이점이다.
• 표현 정리가 증명되었으며, 최적 해가 경험적 커널 특징의 선형 조합에 존재함을 보여주며, 이는 유한 차원 볼록 최적화 설정을 가능하게 한다.
• Barycentric 투영 문제에 대해 적용된 확률적 경사 하강법은 유계 영역과 볼록 비용 함수 하에서 차원에 종속되지 않는 추정 오차 $O(1/\sqrt{m^\prime})$를 제공한다.