[論文レビュー] A Topology Layer for Machine Learning

Rickard Brüel‐Gabrielsson, Bradley J. Nelson+4 more|arXiv (Cornell University)|May 29, 2019

Topological and Geometric Data Analysis参考文献 35被引用数 46

ひとこと要約

微分可能なトポロジ層がレベル集合とエッジベースのフィルトレーションのパーシステントホモロジーを計算し、規則化、生成モデルにおけるトポロジ的先験、そしてトポロジベースの敵対攻撃を可能にします。

ABSTRACT

Topology applied to real world data using persistent homology has started to find applications within machine learning, including deep learning. We present a differentiable topology layer that computes persistent homology based on level set filtrations and edge-based filtrations. We present three novel applications: the topological layer can (i) regularize data reconstruction or the weights of machine learning models, (ii) construct a loss on the output of a deep generative network to incorporate topological priors, and (iii) perform topological adversarial attacks on deep networks trained with persistence features. The code (www.github.com/bruel-gabrielsson/TopologyLayer) is publicly available and we hope its availability will facilitate the use of persistent homology in deep learning and other gradient based applications.

研究の動機と目的

• ユークリッドデータ、画像、3Dデータに適用可能なレベルセットおよびエッジベースのフィルトレーションの微分可能なパーシンスレイヤを導入する。
• モデルの重みや出力上のトポロジ的特徴を直接ペナルティ化して正則化を実証する。
• 深層生成ネットワークにトポロジ的先験を組み込み、生成データの品質を向上させる。
• 分類に影響を与えるようパーシステンス特徴を操作するトポロジ的敵対攻撃を示す。

提案手法

• 微分可能なフレームワークを用いてレベルセットおよびエッジベースのフィルトレーションを通じてパーシステントホモロジーを計算する。
• パーシステンスダイアグラムを介した逆伝搬を可能にするPyTorch拡張を提供する。
• 勾配ベースの最適化のためにパーシステンスダイアグラム上の損失関数を定義する（例：E(p,q,i0;PDk) および Wasserstein）
• 出生死イベントをフィルトレーションセルに写像して入力やパラメータに対する勾配計算を可能にする。
• トップロジカル損失を適用して線形モデルを正則化し、GAN生成画像および3Dボクセルデータを洗練させる。
• トポロジ的特徴と分類を変化させるよう入力を最適化して敵対的攻撃を実証する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なパーシステンスレイヤは主流の勾配ベース学習パイプラインに統合可能か。
• RQ2 伝統的なノルムと比較してトポロジ的ペナルティは正則化と特徴のクラスタリングにどのような影響を与えるか。
• RQ3 GANが生成する画像や3Dボクセルデータの品質に対するトポロジ的先験の効果はどのようか。
• RQ4 パーシステンスベースの特徴は効果的なトポロジ的敵対攻撃を可能にし、モデルの脆弱性を明らかにするか。

主な発見

• 一般的なフィルトレーションに対してパーシステンスダイアグラムを介した逆伝搬を可能にする微分可能なトポロジーレイヤ。
• トポロジ的正則化はモデルの重みのクラスタリングを促進するか、局所極大値の数を減らす可能性がある。
• 生成モデルにおけるトポロジ的先験は生成画像の品質を向上させ、潜在空間の補間をトポロジー整合的な形態変化を促進する。
• トポロジ的敵対攻撃はパーシステンス特徴を操作して誤分類を誘発でき、モデルタイプによって効果のばらつきがある。
• トポロジーを意識した学習を用いると生成器評価指標が測定可能な改善を示す。
• 本手法は0Dおよび1Dのパーシステンスを、レベルセットおよびエッジベースのフィルトレーションで2D画像および3Dボクセルデータ全体に対応する。