[論文レビュー] Large-scale optimal transport map estimation using projection pursuit

Cheng Meng, Ke Yuan+4 more|arXiv (Cornell University)|Jun 9, 2021

Target Tracking and Data Fusion in Sensor Networks被引用数 13

ひとこと要約

本稿では、ランダムな投影ではなく、情報量の多い投影方向を適応的に選択する手法として、大規模な最適輸送マップ（OTM）推定のための新規手法であるProjection Pursuit Monge Map（PPMM）を提案する。投影 pursuit回帰と十分次元削減を組み合わせることで、最も情報量の多い方向の推定が一貫的に行われ、合理的なステップ数内で真のOTMへの弱収束を達成する。これにより、従来のランダム投影ベースの手法に比べ、収束速度と安定性が顕著に向上する。

ABSTRACT

This paper studies the estimation of large-scale optimal transport maps (OTM), which is a well-known challenging problem owing to the curse of dimensionality. Existing literature approximates the large-scale OTM by a series of one-dimensional OTM problems through iterative random projection. Such methods, however, suffer from slow or none convergence in practice due to the nature of randomly selected projection directions. Instead, we propose an estimation method of large-scale OTM by combining the idea of projection pursuit regression and sufficient dimension reduction. The proposed method, named projection pursuit Monge map (PPMM), adaptively selects the most ``informative'' projection direction in each iteration. We theoretically show the proposed dimension reduction method can consistently estimate the most ``informative'' projection direction in each iteration. Furthermore, the PPMM algorithm weakly convergences to the target large-scale OTM in a reasonable number of steps. Empirically, PPMM is computationally easy and converges fast. We assess its finite sample performance through the applications of Wasserstein distance estimation and generative models.

研究の動機と目的

• 大規模な最適輸送マップ（OTM）推定において、従来のランダム投影ベース手法の収束が遅いか、収束しない問題を解決すること。
• 各反復で最も「情報量の多い」投影方向を適応的に選択する手法を開発し、収束性と推定精度を向上させること。
• 主な投影方向の推定が一貫的であり、アルゴリズムが真のOTMに弱収束することを理論的に保証すること。
• 特に高次元設定において、従来のOTM推定手法の計算負荷を軽減する効率的な代替手法を提供すること。
• Wasserstein距離推定および生成モデル化の応用を通じて、手法の有効性を検証すること。

提案手法

• 投影 pursuit回帰を用いて、各反復で情報量の最も高い投影方向を特定することで、OTMを反復的に推定するProjection Pursuit Monge Map（PPMM）アルゴリズムを提案する。
• 各反復で情報量の増加を最大にする最適な投影方向を特定するために、十分次元削減技術を用いる。
• 反復間での方向選択の改善度を測るための相対的利得指標 $ \gamma^{[k]} = \lambda_k / \lambda_0 $ を導入する。
• 選択された方向に沿って1次元OTM推定を適用し、逐次的にグローバルなマップを構築することで、アルゴリズムが適応的に輸送マップを更新する。
• 理論的分析により、SAVE共分散行列の主固有値の推定値が真の値に一貫して収束することを示し、信頼性のある方向選択を保証する。
• 正則性条件下で、PPMMアルゴリズムが真のOTMに弱収束することを確立し、$ d \to \infty $ かつ $ k \geq Cd $（$ C > 0 $）のとき収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 ランダム投影手法と比較して、投影方向の適応的選択が大規模OTM推定における収束性と安定性を向上させることができるか？
• RQ2 提案されたPPMM手法は、各反復で最も情報量の多い投影方向を一貫して推定できるか？
• RQ3 PPMMアルゴリズムの理論的収束挙動は、真の最適輸送マップに対してどのように振る舞うか？
• RQ4 計算効率および有限標本における精度の観点から、PPMMは既存の投影ベース手法と比較して優れているか？
• RQ5 PPMMは、Wasserstein距離推定や生成モデル化といった実用的タスクに効果的に応用可能か？

主な発見

• 正則性条件下で、PPMMは真の最適輸送マップに弱収束する。収束は次元 $ d \to \infty $ かつ反復回数 $ k \geq Cd $（$ C > 0 $）のとき保証される。
• 本手法は、SAVE共分散行列の主固有値の推定が一貫的に行われ、各反復で最も情報量の多い投影方向に対応する。
• 理論的分析により、$ \|\widehat{\bm{\xi}}_1 - \bm{\xi}_1\|_{\infty} = O_p\left(r^4\sqrt{\frac{\log d}{n}} + r^4\sqrt{d}\frac{\log d}{n}\right) $ が成り立つことが示され、方向推定の収束が裏付けられる。
• 実験的結果により、PPMMは、しばしば収束が遅いか、収束しないことがあるランダム投影ベース手法に比べ、より高速かつ信頼性の高い収束を達成することが明らかになった。
• Wasserstein距離推定および生成モデル化タスクにおいて、PPMMは有限標本でも優れた性能を示し、ベースラインの投影ベース手法を上回った。
• アルゴリズムは計算的に効率的かつスケーラブルであり、計算負荷を $ O(n^3 \log n) $ から $ O(Kn \log n) $ に削減する（$ K $ は反復回数）。