[論文レビュー] Can neural networks learn persistent homology features?

Guido Montúfar, Nina Otter+1 more|arXiv (Cornell University)|Nov 30, 2020

Topological and Geometric Data Analysis被引用数 4

ひとこと要約

本稿では、ニューラルネットワークがラスタ画像から、特にトロピカル座標と対角線に近い点のバイナリ指標を、パーシステントホモロジー特徴量として学習できるかを調査している。MNISTおよびCIFAR-10データセットを用いて、CNNとGNNを訓練し、画像からこれらのトポロジカル特徴量を直接予測させたところ、従来のパーシステント図の計算よりも高い精度と著しく高速な推論を達成した。これは、ディープラーニングが、下流のタスクにおける高コストなトポロジカル計算を効果的に補代替できることを示している。

ABSTRACT

Topological data analysis uses tools from topology -- the mathematical area that studies shapes -- to create representations of data. In particular, in persistent homology, one studies one-parameter families of spaces associated with data, and persistence diagrams describe the lifetime of topological invariants, such as connected components or holes, across the one-parameter family. In many applications, one is interested in working with features associated with persistence diagrams rather than the diagrams themselves. In our work, we explore the possibility of learning several types of features extracted from persistence diagrams using neural networks.

研究の動機と目的

• 従来の計算コストの高い図の計算を回避して、ニューラルネットワークが画像から直接パーシステントホモロジー特徴量を予測できるかを調査すること。
• CNNとGNNの性能を、パーシステント図におけるトロピカル座標や対角線に近い点のバイナリ指標といった重要なトポロジカル特徴量の近似において評価すること。
• 学習済み特徴量の推論速度を、標準的なパーシステント図の計算と比較し、下流の機械学習タスクにおける実用的価値を評価すること。
• データ分析パイプラインにおけるトポロジカル特徴抽出の代替手段として、ニューラルネットワークの実現可能性を検討すること。

提案手法

• 本手法は以下のパイプラインを用いる：入力画像 → 立方複体の構築 → フィルターをかけた立方複体 → 境界行列 → 行列削減を用いたパーシステント図の計算。
• パーシステント図から特徴量を抽出し、トロピカル座標（例：対角線からの平均距離）や、ある距離以内に点が存在するかのバイナリ指標を含む。
• ニューラルネットワーク（CNNとGNN）を用い、生の画像または中間表現（例：立方複体）を、これらのトポロジカル特徴量へ直接マッピングするように訓練する。
• 画像から特徴量への回帰タスクでは、CNNに早期停止法と学習率の低下を適用。グラフベースのタスクでは、フィルターをかけた立方複体行列を入力としてGCNおよびGINモデルを用いる。
• 損失関数には、分類タスクのためのマルチクラス交差エントロピーと、トロピカル座標の回帰のための平均二乗誤差を用いる。
• 計算効率は、従来のGUDHIベースの図計算と、学習済みニューラルネットワークの推論時間とを比較することで評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、生の画像からトロピカル座標やバイナリ指標といったパーシステントホモロジー特徴量を効果的に予測できるか？
• RQ2 ニューラルネットワークベースの特徴量予測の性能と推論速度は、従来のパーシステント図の計算と比べてどうか？
• RQ3 生の画像を入力とすることで、立方複体のような中間表現を用いた場合よりも優れた特徴量予測が得られるか？
• RQ4 学習済み特徴量はどれほど安定的で、分類などの下流タスクに適しているか？

主な発見

• GCNモデルは、CC-MNISTおよびFCC-MNISTの両方で、パーシステント図に長さ0.1〜0.3のバーを含むかどうかを分類するタスクで、約75％のテスト精度を達成し、GINモデル（51–53％）を上回った。
• MNISTにおけるトロピカル座標の回帰では、5つの座標の相対的テストMSEが0.000465から0.048468の範囲にあり、対角線からの2つの最も遠い点の距離の合計の誤差が最小であった。
• CIFAR-10では、トロピカル座標の相対的テストMSEが0.00218928から0.00636546の範囲にあり、優れた回帰性能を示した。
• ニューラルネットワークの推論時間は、従来のGUDHIベースのパーシステント図計算よりも著しく高速であり、トポロジカル特徴抽出における実用的加速を提供した。
• CIFAR-10におけるバー予測のCNNモデルは、0.15および0.3の閾値で80％以上のテスト精度を達成し、バイナリ分類タスクにおける優れた一般化性能を示した。
• 結果から、ニューラルネットワークは安定的で情報量豊富なトポロジカル特徴量を学習できることを示しており、データサイエンスパイプラインにおけるパーシステントホモロジー計算の代替手段としての実現可能性が示された。