[論文レビュー] Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks

Tolga Birdal, Aaron Lou+2 more|arXiv (Cornell University)|Nov 25, 2021

Topological and Geometric Data Analysis被引用数 4

ひとこと要約

本稿は、深層ニューラルネットワークにおける一般化と恒常次元の間の新しい位相的枠組みを導入し、制限的な仮定を必要としない内在次元の安定的推定を可能にする。微分可能な位相的データ解析を活用することで、スケーラブルで最適化に優れた正則化項が得られ、さまざまなアーキテクチャや最適化手法において、汎化誤差と強く相関する。

ABSTRACT

Disobeying the classical wisdom of statistical learning theory, modern deep neural networks generalize well even though they typically contain millions of parameters. Recently, it has been shown that the trajectories of iterative optimization algorithms can possess fractal structures, and their generalization error can be formally linked to the complexity of such fractals. This complexity is measured by the fractal's intrinsic dimension, a quantity usually much smaller than the number of parameters in the network. Even though this perspective provides an explanation for why overparametrized networks would not overfit, computing the intrinsic dimension (e.g., for monitoring generalization during training) is a notoriously difficult task, where existing methods typically fail even in moderate ambient dimensions. In this study, we consider this problem from the lens of topological data analysis (TDA) and develop a generic computational tool that is built on rigorous mathematical foundations. By making a novel connection between learning theory and TDA, we first illustrate that the generalization error can be equivalently bounded in terms of a notion called the 'persistent homology dimension' (PHD), where, compared with prior work, our approach does not require any additional geometrical or statistical assumptions on the training dynamics. Then, by utilizing recently established theoretical results and TDA tools, we develop an efficient algorithm to estimate PHD in the scale of modern deep neural networks and further provide visualization tools to help understand generalization in deep learning. Our experiments show that the proposed approach can efficiently compute a network's intrinsic dimension in a variety of settings, which is predictive of the generalization error.

研究の動機と目的

• 従来の研究が位相的正則性やFeller過程といった制限的な仮定に依存する点を是正する。
• 特に恒常次元を推定するための、一般的でスケーラブルな計算フレームワークを、位相的データ解析（TDA）を用いて開発する。
• 古典的統計的学習理論の制約を回避し、恒常次元（PHD）と一般化誤差の間の直接的で仮定フリーな関係を確立する。
• テストデータへのアクセスを必要とせず、エンドツーエンドで微分可能なトレーニング正則化を可能にする。
• 深層学習における一般化特性の推定と可視化に向けた実用的でオープンソースのツールを提供する。

提案手法

• 従来の研究で用いられるボックス次元に代わり、最適化軌跡の幾何的・統計的仮定を必要としない、恒常次元（PHD）に基づく新たな容量指標を提案する。
• 最近の位相的データ解析における理論的進展を活用し、恒常次元（PHD）推定のための効率的なアルゴリズムを開発する。
• PHD推定を微分可能に定式化し、確率的勾配降下法によるトレーニング中に正則化項として統合可能にする。
• 特にノイズが多い、または非一様なデータ環境においても安定性を高めるために、RANSACを用いた強固な直線フィッティング手順を採用する。
• 合成および実世界の深層学習軌道を用いて、推定器の正確性と一般化相関性を検証する。
• 再現可能性およびTDAと深層学習の交差分野におけるさらなる研究を促進するため、オープンソースコードをリリースする。

実験結果

リサーチクエスチョン

• RQ1 恒常次元（PHD）は、深層ニューラルネットワークにおける一般化のための、頑健で仮定フリーな容量指標として機能するか？
• RQ2 PHD推定は、重尾分布および高次元の軌道データにおいて、TwoNNのような古典的内在次元推定器と比較してどのように異なるか？
• RQ3 PHDは、トレーニング中に微分可能な正則化項として使用可能であり、テスト性能の向上にどの程度寄与するか？
• RQ4 本手法は、さまざまなアーキテクチャや最適化手法において、内在次元の推定において正確性と安定性を維持するか？
• RQ5 テストセットへのアクセスを必要とせず、PHD推定が一般化誤差を効果的に予測できるか？

主な発見

• 本稿で提案するPHD推定器は、合成的な重尾分布の拡散過程において、最小限の過大推定と高い一貫性を示し、真の内在次元を正確に回復する。
• 尾指数（内在次元）が変動する状況でも、PHD推定は安定的かつ正確であり、重尾領域ではTwoNNを上回る性能を示す。
• 複数のニューラルネットワークアーキテクチャおよび最適化手法において、推定されたPHDと実際の一般化誤差の間に強い相関が確認された。
• 微分可能なPHD正則化を用いたトレーニングにより、特に高い学習率や小さなバッチサイズといった非最適なハイパーパrameter条件下でも、テスト精度が向上し、一般化誤差が低減した。
• 本フレームワークは、データのノイズや外れ値に対しても頑健であり、RANSACベースの精錬により、ノイズ環境下でわずかだが安定した改善が得られた。
• オープンソース実装により、深層学習における位相的一般化分析の実用的導入と拡張が可能になった。