[論文レビュー] Large Scale computation of Means and Clusters for Persistence Diagrams using Optimal Transport

Théo Lacombe, Marco Cuturi+1 more|arXiv (Cornell University)|May 22, 2018

Topological and Geometric Data Analysis被引用数 32

ひとこと要約

本稿では、エントロピー正則化を用いた最適輸送（OT）を用いて、パーシステンス図の平均値とクラスタリングをスケーラブルに計算するフレームワークを提案する。Sinkhornアルゴリズムを用いることでGPU加速が可能となり、効率的な計算が実現される。図の距離をOT問題に再定式化することで、凸的で微分可能かつ並列化可能な計算が得られ、従来手法に比べて高速かつ収束性に優れ、実世界のデータを用いた5,000枚のパーシステンス図に対する初めての大規模$k$-meansクラスタリングを実現する。

ABSTRACT

Persistence diagrams (PDs) are now routinely used to summarize the underlying topology of complex data. Despite several appealing properties, incorporating PDs in learning pipelines can be challenging because their natural geometry is not Hilbertian. Indeed, this was recently exemplified in a string of papers which show that the simple task of averaging a few PDs can be computationally prohibitive. We propose in this article a tractable framework to carry out standard tasks on PDs at scale, notably evaluating distances, estimating barycenters and performing clustering. This framework builds upon a reformulation of PD metrics as optimal transport (OT) problems. Doing so, we can exploit recent computational advances: the OT problem on a planar grid, when regularized with entropy, is convex can be solved in linear time using the Sinkhorn algorithm and convolutions. This results in scalable computations that can stream on GPUs. We demonstrate the efficiency of our approach by carrying out clustering with diagrams metrics on several thousands of PDs, a scale never seen before in the literature.

研究の動機と目的

• パーシステンス図の標準的な操作（距離計算、バーコード推定、クラスタリングなど）の計算不能性に対処すること。
• パーシステンス図の非ヒルバート幾何が、$k$-means や PCA といった標準的な機械学習ツールの利用を困難にしている問題を克服すること。
• エントロピー正則化を用いた最適輸送問題への図の距離の再定式化により、大規模なトポロジカルデータ解析を可能にすること。
• 局所最適解を避けるために微分可能で凸的かつGPU並列化可能なバーコード計算フレームワークを提供すること。
• 提案されたフレームワークを用いて、5,000枚のパーシステンス図に対する初めての実行可能な$k$-meansクラスタリングを実証すること。

提案手法

• パーシステンス図の距離（ボトルネック距離および$p$- Wasserstein距離）を、エントロピー正則化を施した平面上のグリッド上での最適輸送問題に再定式化する。
• パーシステンス図を$d \times d$グリッド上のヒストグラムとして離散化することで、行列ベースの計算を可能にする。
• エントロピー正則化を用いたSinkhornアルゴリズムを用い、線形時間でOT問題を解き、GPU加速を実現する。
• 加法的誤差バウンドを備えた図の距離の微分可能近似を導入し、勾配ベースの最適化を可能にする。
• Eulerian形式を用いてFréchetバーコード問題を凸最適化タスクに定式化し、輸送計画に対する勾配降下法を適用する。
• 近似距離計算とバーコード計算を統合し、パーシステンス図向けにスケーラブルな$k$-meansクラスタリングパイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化を用いた最適輸送は、大規模なパーシステンス図間の距離計算に効果的に適応可能か？
• RQ2 エントロピー正則化OTの凸性と微分可能性を活用することで、非凸な組合せ的手法に比べて、パーシステンス図のバーコード推定をより信頼性高く行えるか？
• RQ3 提案されたフレームワークにより、数千枚の図を含むデータセットに対して、大規模なパーシステンス図クラスタリング（特に$k$-means）が可能か？
• RQ4 提案手法の計算効率と収束特性は、ハンガリアン法の$O(n^3)$の複雑性に比べ、図のサイズが増加するに従いどのように比較されるか？
• RQ5 非凸アプローチと比較して、凸定式化がバーコード推定における局所最適解の回避にどの程度寄与するか？

主な発見

• 提案手法は、3次元形状データベースから得た5,000枚のパーシステンス図を含むデータセットに対して$k$-meansクラスタリングを実現した。これは、従来の文献では達成できなかったスケールである。
• 5,000枚の図のデータセットに対して、P100 GPU上での実行時間は40〜80分で、実用的なスケーラビリティを示している。
• B-Munkresアルゴリズムに比べて高速であり、初期値に依存せず、より低いエネルギー解に収束する。
• アルゴリズムは図のサイズに対して劣線形にスケーリングされ、ハンガリアン法の$O(n^3)$の複雑性よりも著しく遅延が小さい。
• エントロピー正則化により、図の距離に対する加法的誤差バウンドが得られ、近似品質が制御可能である。
• 微分可能で凸的な定式化により、従来の非凸アプローチとは異なり、信頼性の高い勾配ベース最適化によるバーコード計算が可能になった。