[論文レビュー] On Characterizing the Capacity of Neural Networks using Algebraic Topology

William H. Guss, Ruslan Salakhutdinov|arXiv (Cornell University)|Feb 13, 2018

Topological and Geometric Data Analysis参考文献 21被引用数 60

ひとこと要約

本論文はパーシステント同相性を用いてデータの複雑さを定量化し、ニューラルネットワークのトポロジカル容量を定義し、アーキテクチャ選択をトポロジーに基づいて導く手法を提案する。異なるアーキテクチャ全体で経験的な位相転換が観察される。

ABSTRACT

The learnability of different neural architectures can be characterized directly by computable measures of data complexity. In this paper, we reframe the problem of architecture selection as understanding how data determines the most expressive and generalizable architectures suited to that data, beyond inductive bias. After suggesting algebraic topology as a measure for data complexity, we show that the power of a network to express the topological complexity of a dataset in its decision region is a strictly limiting factor in its ability to generalize. We then provide the first empirical characterization of the topological capacity of neural networks. Our empirical analysis shows that at every level of dataset complexity, neural networks exhibit topological phase transitions. This observation allowed us to connect existing theory to empirically driven conjectures on the choice of architectures for fully-connected neural networks.

研究の動機と目的

• データセットの幾何的複雑さを代数的トポロジーを用いて形式化し、アーキテクチャ選択に情報を提供する。
• トポロジカル容量を導入し、ネットワークがデータのトポロジーを表現し一般化する能力の指標とする。
• データホモロジーがニューラルアーキテクチャ全体の学習へ与える影響を経験的に特徴付ける。
• データのパーシステンスホモロジーと最小表現能力を結びつけてトポロジーに基づくアーキテクチャ選択を提案する。
• OpenMLや実データセットで実用性を示す。

提案手法

• データと決定領域のトポロジ的複雑さを定量化するためにパーシステントホモロジーを採用する。
• サポートホモロジー H_S(f) を定義し、それを分類器 f の陽性決定領域と関連づける。
• 同種のホモロジーを実現できない場合、そのアーキテクチャはデータの部分集合を誤分類する（定理3.1）というホモロジーの一般化原理を確立する。
• 深さと第一層の幅を変えた全結合ネットワーク（ReLU）による経験的実験を実施し、ホモロジー的表現能力を研究する。
• E_H^p(f, D) = min{β_p(f)/β_p(D), 1} を計算・分析し、アーキテクチャがデータホモロジーをどれだけ表現しているかを評価する。
• パーシステンスダイアグラム/フィルトレーションを用いてデータのトポロジーを最小表現アーキテクチャと関連づけ、導出された境界（式3.1、式4.1）から h_phase を推定する。
• OpenMLデータセットで実践的にトポロジーに基づくアーキテクチャ選択を適用し、データのパーシステンス特徴から h_phase の下限を導出する。

実験結果

リサーチクエスチョン

• RQ1 データのホモロジー（トポロジー）的複雑さは、ニューラルネットワークの表現力と一般化をどのように制約するか？
• RQ2 パーシステントホモロジーは、 given dataset の最小十分容能力（h_phase）の予測によってニューラルアーキテクチャの選択を導くことができるか？
• RQ3 データホモロジーが増加するにつれて観察されるニューラルトップロジーの位相転換は何か？
• RQ4 トポロジーに基づく予測は、実データセット（合成データ以外）へどの程度転移するか（例：OpenML、CIFAR-10、UCI など）？

主な発見

• ニューラルネットワークは、データのトポロジーがより複雑になるにつれて表現力における位相転換を示す。
• データがよりトポロジー的に複雑な場合には、下位の h_phase 未満で収束できず; それを超えると収束挙動が変化する。
• パーシステンスホモロジー特徴から推定された h_phase の経験的見積もりは、アーキテクチャ選択の強力な出発点を提供する（多くのケースで予測位相でほぼゼロ誤差）。
• 高次のホモロジー（β1 以上）は浅いネットワークでは学習が難しく、より深いネットワークは学習性を高いホモロジーへ押し上げるが、複雑さのコストが増す。
• CIFAR-10 およびいくつかの UCI/OpenML データセットは非自明な持続的ホモロジーを示し、実データ上でのトポロジー的指標の実用性を裏付ける。
• このフレームワークは、持続性ダイアグラムから推定されたトポロジー容量を用いて探索を制約するデータ優先のアーキテクチャ探索を可能にする。