[論文レビュー] Optimizing persistent homology based functions

Mathieu Carrière, Frédéric Chazal+3 more|arXiv (Cornell University)|Oct 16, 2020

Topological and Geometric Data Analysis参考文献 38被引用数 16

ひとこと要約

本稿では、実解析幾何学を活用して確率的部分勾配法の理論的収束保証を確保する、一般化された微分可能フレームワークを導入し、持続的ホモロジーに基づく関数の最適化を可能にする。このフレームワークは、最小限の実装コストで多様な機械学習応用分野において効率的かつ勾配ベースの最適化を実現する。

ABSTRACT

Solving optimization tasks based on functions and losses with a topological flavor is a very active, growing field of research in data science and Topological Data Analysis, with applications in non-convex optimization, statistics and machine learning. However, the approaches proposed in the literature are usually anchored to a specific application and/or topological construction, and do not come with theoretical guarantees. To address this issue, we study the differentiability of a general map associated with the most common topological construction, that is, the persistence map. Building on real analytic geometry arguments, we propose a general framework that allows us to define and compute gradients for persistence-based functions in a very simple way. We also provide a simple, explicit and sufficient condition for convergence of stochastic subgradient methods for such functions. This result encompasses all the constructions and applications of topological optimization in the literature. Finally, we provide associated code, that is easy to handle and to mix with other non-topological methods and constraints, as well as some experiments showcasing the versatility of our approach.

研究の動機と目的

• 非凸的かつ非微分可能なパーシステントホモロジーに基づく関数に対する、既存のトポロジカル最適化手法に欠けている理論的収束保証の問題を解決すること。
• 機械学習分野における多様なトポロジカル最適化アプローチを、実解析幾何学に根ざした単一の微分可能フレームワークで統一すること。
• 標準的なディープラーニングライブラリと自動微分を活用して、トポロジカル関数の実用的かつスケーラブルな最適化を可能にすること。
• 非トポロジカル最適化パイプラインとシームレスに統合可能な汎用実装を提供すること。

提案手法

• パラメータ化されたフィルトレーションからパーシステント図に至るパーシステント写像を、半代数的関数として表現し、o-極小幾何学を用いた微分可能性解析を可能にする。
• パーシステント写像が半代数的であることを証明し、弱い条件下でも良好な微分可能性特性を有することを示す。
• 最近の[DDKL20]の結果を応用して、一般のパーシステントホモロジーに基づく関数に対して、確率的部分勾配降下法がほとんど確実に収束することを確立する。
• 計算効率の高いウォッシャープルーフィング距離の代替として、スライスド・ウォッシャープルーフィング距離を用い、理論的保証を維持する。
• エンドツーエンドのトポロジカル関数最適化を可能にする、軽量でPyTorch/TensorFlow互換のPythonライブラリを実装する。
• 勾配がパーシステント図およびトポロジカル特徴量を逆伝播可能にすることで、標準的なMLパイプラインとの統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 広範なパーシステントホモロジーに基づく関数クラスに対して、最適化アルゴリズムの収束を保証する一般化されたフレームワークを開発可能か？
• RQ2 パーシステント図の非微分性をどのように克服することで、機械学習における勾配ベース最適化を可能にするか？
• RQ3 トポロジカル関数に対して、確率的部分勾配法が臨界点に収束するための条件は何か？
• RQ4 このフレームワークを計算的に効率的かつ既存のディープラーニングライブラリと互換性を持たせられるか？
• RQ5 フィルタ関数の最適化が、トポロジカル機械学習タスクにおける下流性能をどの程度向上させるか？

主な発見

• パーシステント写像は半代数的であるため、厳密な微分可能性解析と最適化の理論的収束保証が可能になる。
• 弱い仮定のもとで、一般のパーシステントホモロジーに基づく関数に確率的部分勾配降下法を適用した場合、ほとんど確実に臨界点に収束する。
• 提案フレームワークを用いたフィルタ最適化により、MNISTにおける分類精度が向上し、ランダム初期化と比較して最大+11.5百分率ポイント（例：vs79）の向上を達成した。
• スライスド・ウォッシャープルーフィング距離は行列演算を用いることで計算効率を大幅に向上させつつ、理論的妥当性を維持する。
• MNISTの45の二値数字分類タスクすべてにおいて、フレームワークは一貫して性能向上を示し、唯一のケースを除いてすべてで改善が観察された。
• オープンソース実装により、標準的なMLワークフローとシームレスに統合可能であり、トポロジカル正則化子を用いたエンドツーエンド学習を可能にした。