[論文レビュー] Principal Geodesic Analysis for Probability Measures under the Optimal Transport Metric

Vivien Seguy, Marco Cuturi|arXiv (Cornell University)|Jun 26, 2015

Geometric Analysis and Curvature Flows参考文献 26被引用数 33

ひとこと要約

本稿では、最適輸送（ワッサーシュタイン）距離を用いた確率測度上のスケーラブルな主測地線分析の手法を提案する。この手法により、ワッサーシュタイン空間内での測地線曲線を用いた次元削減が可能になる。緩和された測地線と正則化された最適輸送を活用することで、大規模データセット上でも効率的な計算が可能となり、解釈可能性も保たれる。画像の形状、カラー度数ヒストグラム、MNISTの0〜9の数字に対して実証され、意味のある測地線的整合性を持つ成分が得られている。

ABSTRACT

Given a family of probability measures in P(X), the space of probability measures on a Hilbert space X, our goal in this paper is to highlight one ore more curves in P(X) that summarize efficiently that family. We propose to study this problem under the optimal transport (Wasserstein) geometry, using curves that are restricted to be geodesic segments under that metric. We show that concepts that play a key role in Euclidean PCA, such as data centering or orthogonality of principal directions, find a natural equivalent in the optimal transport geometry, using Wasserstein means and differential geometry. The implementation of these ideas is, however, computationally challenging. To achieve scalable algorithms that can handle thousands of measures, we propose to use a relaxed definition for geodesics and regularized optimal transport distances. The interest of our approach is demonstrated on images seen either as shapes or color histograms.

研究の動機と目的

• ワッサーシュタイン空間における確率測度の次元削減のためのスケーラブルで解釈可能な手法の開発。
• 線形部分空間の代わりに測地線曲線を用いることで、ワッサーシュタイン多様体上への主成分分析の拡張。
• 正確なワッサーシュタイン測地線の計算における計算課題を克服するため、緩和的および正則化された定式化を導入。
• ワッサーシュタイン平均と微分幾何学を用いて、中心化、直交性、主成分といった概念が自然に一般化される幾何的枠組みの構築。
• 画像の形状、カラー度数ヒストグラム、MNISTの0〜9の数字といった実世界のデータに対して、その有効性を実証。ここで得られる成分は確率測度の空間に留まり、解釈可能である。

提案手法

• データの中心としてワッサーシュタイン平均を用い、多準拠最適輸送を用いて計算することで、測地線成分の原点を定義する。
• 主測地線を、データ点への二乗距離の和を最小化するワッサーシュタイン空間内での曲線として定式化し、計算可能性を確保するため緩和された測地線定義を用いる。
• 主成分の最適化には射影勾配降下法を採用し、解の安定化と収束性の向上のため正則化を施す。
• ワッサーシュタイン多様体における対数写像と指数写像を活用し、データを接空間に変換することで、標準的なPCAに類似した最適化を可能にする。
• 大規模データに対しては、正則化された最適輸送距離とワッサーシュタイン距離の近似を用いることで、計算コストを低減する。
• 最終的な測地線成分は指数写像を用いて再構築され、確率測度の空間に留まることが保証される。

実験結果

リサーチクエスチョン

• RQ1 無限次元のワッサーシュタイン多様体に対して、主測地線分析を効果的に拡張できるか？
• RQ2 確率測度の空間に留まりつつ、効率的かつスケーラブルに測地線成分を計算する方法は何か？
• RQ3 ワッサーシュタイン平均と微分幾何学が、中心化や直交性といったPCAの概念を自然に一般化する役割を果たすか？
• RQ4 緩和された測地線定式化と正則化された最適輸送が、解釈可能性を損なわずスケーラビリティを向上させる仕組みは何か？
• RQ5 得られた測地線成分は、画像の形状や色分布における意味のある、解釈可能な変動をどの程度捉えられるか？

主な発見

• 提案手法は、従来のPCAや主曲線とは異なり、確率測度の空間に留まる主測地線を効果的に計算できることを示した。
• MNISTデータセットにおいて、0〜9の数字の最初の3つの主測地線は、回転、線画の太さ、ループの形成といった意味のある変動を捉えており、特に数字2のループ部分が良好にモデル化されている。
• Caltech-256のカラー度数ヒストグラムに対しては、最初の主成分が照明の変化（暗いから明るいへ）を反映しており、2番目と3番目の成分が支配的な色のシフト（青、赤、黄）を捉えている。
• 標準のiMac上で295枚のカラー画像に対して1つの主成分を計算する作業が15分未満で完了した。これによりスケーラビリティが実証された。
• 画像を測地線に射影するには、最適な時間同期とカラー移動を用いた。これにより、主成分に沿った中間状態の可視化が可能になった。
• 補足資料において、Wangら（2013）の先行手法よりも解釈可能性と幾何的忠実性において優れていることが示された。