[論文レビュー] Deep Learning with Topological Signatures

Christoph D. Hofer, Roland Kwitt+2 more|arXiv (Cornell University)|Jul 13, 2017

Topological and Geometric Data Analysis参考文献 26被引用数 102

ひとこと要約

この論文は、持続性図（位相的署名）を深層ネットワークのタスク最適化表現にマップする訓練可能な入力層を紹介し、トップロジー特徴を用いたエンドツーエンド学習を可能にします。社会ネットワークグラフで最先端を大きく上回り、グラフ分類と2D形状認識の性能を向上させます。

ABSTRACT

Inferring topological and geometrical information from data can offer an alternative perspective on machine learning problems. Methods from topological data analysis, e.g., persistent homology, enable us to obtain such information, typically in the form of summary representations of topological features. However, such topological signatures often come with an unusual structure (e.g., multisets of intervals) that is highly impractical for most machine learning techniques. While many strategies have been proposed to map these topological signatures into machine learning compatible representations, they suffer from being agnostic to the target learning task. In contrast, we propose a technique that enables us to input topological signatures to deep neural networks and learn a task-optimal representation during training. Our approach is realized as a novel input layer with favorable theoretical properties. Classification experiments on 2D object shapes and social network graphs demonstrate the versatility of the approach and, in case of the latter, we even outperform the state-of-the-art by a large margin.

研究の動機と目的

• 多様なデータモダリティに対して、頑健な位相的・幾何情報を捉えるためにトポロジカルデータ分析（TDA）の活用を動機づける。
• 持続性図を学習可能な表現へと投影する微分可能な入力層を開発し、深層ネットワークと互換性を持たせる。
• 持続性図への1-Wasserstein距離に対する層の安定性を保証する。
• このアプローチを多様なタスク（2D形状分類とソーシャルネットワークグラフ分類）で実証し、汎用性を示す。
• トポロジー署名からタスク適応表現を学習することが、難易度の高いベンチマークで既存手法を上回ることを示す。

提案手法

• パラメータ化された射影層を導入し、持続性図を取り込み、学習可能な構造要素の集合を用いて射影する。
• 図の点を回転座標系を用いて1D持続性軸と1D出生-持続性軸に写像する。
• 要素ごとにスカラー射影を生成する微分可能な構造関数 s_mu,sigma,nu の族を定義し、N 個の要素にわたって結合する。
• 安定性を証明する：この層は1-Wasserstein距離に関してリプシッツ連続であり、図の摂動に対する頑健性を保証する。
• s_mu,sigma,nu が mu と sigma に関して微分可能であることを活用し、標準の誤差逆伝播法で層をエンドツーエンドで訓練する。
• 本手法が可変基数の図を扱えることを示し、一般用途のマルチセット入力層として組み込むことができる。

実験結果

リサーチクエスチョン

• RQ1 訓練可能な入力層は、安定性（Wasserstein）と深層学習へのタスク最適化の双方を満たす表現に持続性図をマッピングできるか？
• RQ2 エンドツーエンド学習を通じてトポロジー署名を組み込むことで、2D形状分類やグラフ分類などの異種タスクの性能が向上するか？
• RQ3 本質的な（決して消えない）トポロジー特徴が、実際の識別力にどの程度寄与するか？
• RQ4 提案手法は、伝統的なベクトル化やカーネルベース手法と比較して、スケーラビリティと精度の点でどうか？

主な発見

• 著者らは、S_theta,nu を訓練可能で微分可能な層として提案し、学習可能な構造要素によって決定される固定サイズのベクトルへ持続性図を射影する。
• この層は1-Wasserstein距離に対してリプシッツ連続であることが示され、摂動下でのトポロジー署名の安定性を保証する。
• 実験では、2D形状分類とソーシャルネットワークグラフ分類の適用を通じて汎用性を示し、グラフタスクで最先端を上回る強力な結果を達成した。
• 本手法は可変基数の図を扱うことができ、実数ベクトルのマルチセットを深層ネットワークに組み込む一般的な方法として見ることができる。
• 本質的なトポロジー特徴を用いる（無視しない）ことで、グラフ分類に顕著な性能向上が得られる。