[논문 리뷰] Large-scale optimal transport map estimation using projection pursuit

Cheng Meng, Ke Yuan외 4명|arXiv (Cornell University)|2021. 06. 09.

Target Tracking and Data Fusion in Sensor Networks인용 수 13

한 줄 요약

이 논문은 랜덤 투영을 사용하는 대신 정보가 풍부한 투영 방향을 적응적으로 선택하는 새로운 방법인 투영 품질 몽주 맵(PPMM)을 제안한다. 투영 품질 회귀와 충분한 차원 감소 기법을 결합함으로써 PPMM는 가장 정보가 풍부한 방향을 일관되게 추정하고, 합리적인 단계 수 내에서 진짜 OTM로의 약한 수렴을 달성한다. 이는 기존의 랜덤 투영 기반 방법에 비해 수렴 속도와 안정성 면에서 크게 향상된다.

ABSTRACT

This paper studies the estimation of large-scale optimal transport maps (OTM), which is a well-known challenging problem owing to the curse of dimensionality. Existing literature approximates the large-scale OTM by a series of one-dimensional OTM problems through iterative random projection. Such methods, however, suffer from slow or none convergence in practice due to the nature of randomly selected projection directions. Instead, we propose an estimation method of large-scale OTM by combining the idea of projection pursuit regression and sufficient dimension reduction. The proposed method, named projection pursuit Monge map (PPMM), adaptively selects the most ``informative'' projection direction in each iteration. We theoretically show the proposed dimension reduction method can consistently estimate the most ``informative'' projection direction in each iteration. Furthermore, the PPMM algorithm weakly convergences to the target large-scale OTM in a reasonable number of steps. Empirically, PPMM is computationally easy and converges fast. We assess its finite sample performance through the applications of Wasserstein distance estimation and generative models.

연구 동기 및 목표

• 대규모 최적 운반 맵(OTM) 추정에 있어 기존의 랜덤 투영 기반 방법이 느리거나 수렴하지 않는 문제를 해결하기 위해.
• 각 반복 단계에서 가장 '정보가 풍부한' 투영 방향을 적응적으로 선택하는 방법을 개발하여 수렴성과 추정 정확도를 향상시키기 위해.
• 주요 투영 방향의 일관된 추정과 알고리즘의 진짜 OTM로의 약한 수렴을 이론적으로 보장하기 위해.
• 특히 고차원 환경에서 전통적인 OTM 추정 방법에 대한 계산적으로 효율적인 대안을 제공하기 위해.
• 워샤르슈타인 거리 추정 및 생성 모델링과 같은 응용을 통해 방법의 성능을 검증하기 위해.

제안 방법

• 투영 품질 회귀를 사용하여 각 반복에서 가장 정보가 풍부한 투영 방향을 선택함으로써 OTM를 반복적으로 추정하는 투영 품질 몽주 맵(PPMM) 알고리즘을 제안한다.
• 각 반복에서 정보 수익을 최대화하는 최적의 투영 방향을 식별하기 위해 충분한 차원 감소 기법을 사용한다.
• 반복 간 방향 선택의 향상 정도를 측정하기 위해 상대 이득 지수 $ \gamma^{[k]} = \lambda_k / \lambda_0 $ 를 활용한다.
• 선택된 방향을 따라 일변도 OTM 추정을 적용하여 운반 맵을 적응적으로 업데이트하고, 점진적으로 전역 맵을 구축한다.
• 이론적 분석을 통해 SAVE 공분산 행렬의 주성분 고유값 추정치가 진짜 값으로 일관되게 수렴함을 보여, 신뢰할 수 있는 방향 선택을 보장한다.
• 정규성 조건 하에서 PPMM 알고리즘이 진짜 OTM로의 약한 수렴을 확립하며, $ d \to \infty $ 이고 $ k \geq Cd $ 인 경우 수렴이 보장된다.

실험 결과

연구 질문

• RQ1 랜덤 투영 방법에 비해 정보가 풍부한 투영 방향의 적응적 선택이 대규모 OTM 추정에서 수렴성과 안정성 향상에 기여하는가?
• RQ2 제안된 PPMM 방법이 각 반복에서 가장 정보가 풍부한 투영 방향을 일관되게 추정하는가?
• RQ3 PPMM 알고리즘의 이론적 수렴 행동은 진짜 최적 운반 맵으로 향하는가?
• RQ4 계산 효율성과 유한 표본 정확도 측면에서 PPMM의 성능은 기존의 투영 기반 방법과 비교해 어떻게 되는가?
• RQ5 PPMM는 워샤르슈타인 거리 추정 및 생성 모델링과 같은 실용적 과제에 효과적으로 적용될 수 있는가?

주요 결과

• 정규성 조건 하에서, 차원 $ d \to \infty $ 이고 반복 수 $ k \geq Cd $ 인 경우, PPMM는 진짜 최적 운반 맵으로의 약한 수렴을 달성한다.
• 이 방법은 SAVE 공분산 행렬의 주성분 고유값을 일관되게 추정하여, 각 반복에서 가장 정보가 풍부한 투영 방향을 보장한다.
• 이론적 분석을 통해 $ \|\widehat{\bm{\xi}}_1 - \bm{\xi}_1\|_{\infty} = O_p\left(r^4\sqrt{\frac{\log d}{n}} + r^4\sqrt{d}\frac{\log d}{n}\right) $ 라는 결과를 도출하여, 방향 추정의 수렴성을 보여준다.
• 실험 결과는 PPMM가 랜덤 투영 기반 방법에 비해 더 빠르고 신뢰성 있게 수렴함을 보여주며, 후자의 경우 종종 느린 수렴 또는 수렴 불가 문제를 겪는다.
• 워샤르슈타인 거리 추정 및 생성 모델링 과제에서 PPMM는 강력한 유한 표본 성능을 보이며, 기준선 투영 기반 접근법을 능가한다.
• 알고리즘은 계산적으로 효율적이고 확장 가능하여, 계산 부담을 $ O(n^3 \log n) $ 에서 $ O(Kn \log n) $ 으로 줄였다. 여기서 $ K $ 는 반복 횟수이다.