[論文レビュー] Log-PCA versus Geodesic PCA of histograms in the Wasserstein space

Elsa Cazelles, Vivien Seguy+3 more|arXiv (Cornell University)|Aug 27, 2017

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、2-ワッサースタイン距離を用いて Wasserstein 空間内でのヒストグラムデータの分析に、log-PCA と測地線PCAを提案および比較する。測地線PCAにおける非凸最適化問題を解くために、新規の前向き・後向きアルゴリズムを導入し、合成データおよび実データを用いた実験により、測地線PCAが、接空間における線形近似に依存する log-PCA よりも、1次元および2次元ヒストグラムにおける非線形変動をよりよく捉えられることを示している。

ABSTRACT

This paper is concerned by the statistical analysis of data sets whose elements are random histograms. For the purpose of learning principal modes of variation from such data, we consider the issue of computing the PCA of histograms with respect to the 2-Wasserstein distance between probability measures. To this end, we propose to compare the methods of log-PCA and geodesic PCA in the Wasserstein space as introduced by Bigot et al. (2015) and Seguy and Cuturi (2015). Geodesic PCA involves solving a non-convex optimization problem. To solve it approximately, we propose a novel forward-backward algorithm. This allows a detailed comparison between log-PCA and geodesic PCA of one-dimensional histograms, which we carry out using various data sets, and stress the benefits and drawbacks of each method. We extend these results for two-dimensional data and compare both methods in that setting.

研究の動機と目的

• 可変ビン幅ヒストグラムを分析する際の標準的ユークリッドPCAの限界を克服するため、より適切な度合いとして2-ワッサースタイン距離を用いること。
• 非凸最適化問題を解く必要があるWasserstein空間内での測地線PCAのための計算的に効率的なアルゴリズムを開発すること。
• 1次元および2次元ヒストグラムデータにおいて、log-PCA（Wasserstein重心における接空間内での線形PCA）と測地線PCA（真の主測地線部分空間）の性能を比較すること。
• 可変ビン構造や分布を有するヒストグラムデータセットにおける、主成分の変動モードを捉える際の、計算の単純さとモデリング精度のトレードオフを評価すること。

提案手法

• 測地線PCAの背後にある非凸最適化問題を解くために、前向き・後向き分割アルゴリズムを提案する。
• 制約（接空間やサポート条件を含む）を扱うために、原双対定式化を用い、近接作用素を介して処理する。
• 凸集合（例えば単体、全 Variation 制約）の指示関数の共役凸関数および近接写像を用いて、最適化における制約を強制する。
• 2次元グリッドに対して発散作用素 K 及びその随伴 K* を再定義することで、2次元へのアルゴリズムの適応を図り、有限差分近似を用いる。
• 一様および2次元ヒストグラムデータにアルゴリズムを適用し、分位数関数および最適輸送写像を用いてワッサースタイン重心を計算する。
• 反復的重み付けおよびパrameter調整（例：σ=1/4、θ=τ/(1+2τ)）を用いて、原双対スキームの収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein空間内での測地線PCAは、1次元ヒストグラムデータの主成分の変動モードを捉える際、log-PCA よりも優れているか？
• RQ2 ヒストグラム解析において、log-PCA（線形近似）と測地線PCA（非線形・内在的）の間で、計算的コストと統計的精度のトレードオフは何か？
• RQ3 新規の前向き・後向きアルゴリズムは、1次元および2次元ヒストグラムにおける測地線PCAの非凸最適化問題を効果的に解けるか？
• RQ4 異なるビン構造や分布を有する実世界のデータセットにおいて、2つの手法の性能はいかがなっているか？
• RQ5 可変ビン幅を持つヒストグラムのPCAにおいて、ユークリッド距離に比べてワッサースタイン距離を用いる利点は何か？

主な発見

• 測地線PCAは、ビンの位置やサイズが著しく変化する場合でも、非線形的・非ガウス的変動を、log-PCA よりも優れて捉えられる。
• 提案された前向き・後向きアルゴリズムは、非凸測地線PCA問題の意味のある解に収束することが確認され、1次元および2次元における実用的計算を可能にした。
• log-PCAは計算が単純であるが、Wasserstein空間の幾何学を線形化するため、ヒストグラムの複雑な変形をモデル化できない。
• 2次元設定において、アルゴリズムは空間的構造を持つデータへの測地線PCAフレームワークの拡張に成功し、安定性と正確性を維持した。
• 合成および実データセットにおける実験結果から、測地線PCAは、ユークリッド距離や log-PCA の手法よりも、ヒストグラムデータの内在的構造をよりよく保持していることが示された。
• 近接作用素および原双対分割を用いることで、全 Variation 制約や単体条件といった、安定なヒストグラム表現に不可欠な制約の効率的処理が可能になった。