[論文レビュー] ATOL: Measure Vectorization for Automatic Topologically-Oriented Learning

Martin Royer, Frédéric Chazal+3 more|arXiv (Cornell University)|Sep 30, 2019

Topological and Geometric Data Analysis被引用数 9

ひとこと要約

ATOL は、特にトポロジカル・データ解析（TDA）特徴量であるパーシステンス図のための、高速で非教師ありかつ理論的に裏付けられた、ユークリッド空間上の測度のベクトル化手法を導入する。統計的に最適な量子化と適応的帯域幅を用いることで、最小限のチューニングでクラスタリングおよび分類タスクにおいて最先端の性能を達成し、パーシステンス図のクラスタを分離可能でありながら、効率的かつ解釈可能であることを実証した。

ABSTRACT

Robust topological information commonly comes in the form of a set of persistence diagrams, finite measures that are in nature uneasy to affix to generic machine learning frameworks. We introduce a fast, learnt, unsupervised vectorization method for measures in Euclidean spaces and use it for reflecting underlying changes in topological behaviour in machine learning contexts. The algorithm is simple and efficiently discriminates important space regions where meaningful differences to the mean measure arise. It is proven to be able to separate clusters of persistence diagrams. We showcase the strength and robustness of our approach on a number of applications, from emulous and modern graph collections where the method reaches state-of-the-art performance to a geometric synthetic dynamical orbits problem. The proposed methodology comes with a single high level tuning parameter: the total measure encoding budget. We provide a completely open access software.

研究の動機と目的

• トポロジカル特徴量（特にパーシステンス図）を標準的な機械学習パイプラインに統合する課題に対処すること。これは、非ユークリッド的で測度に基づく表現と互換性がないためである。
• ユークリッド空間上の測度のための、効率的かつ理論的に正当化されたベクトル化手法を開発することにより、強固なトポロジカル特徴抽出を可能にすること。
• 最小限のハイパーパrameterチューニングと解釈可能性を備えた手法を構築すること。TDA の知識がなくても使用可能である。
• グラフ分類や力学系を含む、多様な機械学習タスクにおいて、トポロジカル特徴量を用いた最先端の性能を示すこと。

提案手法

• 本手法は、サイズ $ b $ のコードブックを用いた測度空間の最適量子化に依存し、中心はデータから非教師ありで学習される。
• 適応的コントラスト関数 $ \tilde{\Phi}_i(x) = \exp\left(-\|x - c_i\|_2^2 / \sigma_i^2\right) $ を用い、帯域幅 $ \sigma_i $ は測度の局所的密度と分散に基づいて決定される。
• ベクトル化は $ \mathbf{v} = \left( \int \tilde{\Phi}_i(x) \, d\mu(x) \right)_{i=1}^b $ で計算され、各測度が低次元ベクトルに変換される。
• キャリブレーション段階では訓練データの10%のみを用いてコードブックを計算し、スケーラビリティと安定性を確保する。
• 本手法は解釈可能である：中心とそれに対応するコントラスト関数は、トポロジカルに重要な領域を示す。
• 非教師ありで中心を学習し、低次元出力を得るため、過学習に対して頑健であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間上の測度の単純で非教師ありのベクトル化手法が、トポロジカル機械学習タスクで最先端の性能を達成できるか？
• RQ2 適応的帯域幅を用いた本手法が、固定グリッドやカーネルベースの代替手法に比べ、パーシステンス図のクラスタリングおよび分類において優れているか？
• RQ3 本手法はパーシステンス図のクラスタを明確に分離できると証明できるか？また、より複雑なディープラーニングやカーネルベースの手法と比べてどうか？
• RQ4 本手法は、キャリブレーションのパcentile 選択やコントラスト関数の種類（例：ガウス型 vs. ラプラス型）にどれほど感度を示すか？
• RQ5 本手法は、合成力学系や実世界のグラフコレクションを含む多様なデータセットにどれほど一般化可能か？

主な発見

• ATOL は $ b=100 $ の予算で ORBIT5K データセットで 93.8% の精度を達成し、最先端の手法と同等またはそれを上回った。
• 低予算（$ b=4 $ から $ b=36 $）では固定グリッドベースラインを上回り、より優れたサンプル効率を示した。
• 訓練データの10%をキャリブレーションに使用した結果、100%を使用した場合と同等の結果が得られ、ロバスト性とスケーラビリティを実証した。
• 適応的帯域幅戦略はチューニングなしで競争力のある結果を生み出し、ほとんどの設定で一定帯域幅を上回った。
• $ b > 250 $ の場合、ATOL と固定グリッド手法の両方が95%以上の精度に達し、空間的構造そのものが問題の正確な記述に十分であることを示唆した。
• 本手法はパーシステンス図のクラスタを分離可能であると証明されたが、これまでは先行するベクトル化手法では確立されていなかった性質である。