[論文レビュー] Implicit Regularization via Neural Feature Alignment

Aristide Baratin, Thomas George+5 more|arXiv (Cornell University)|Aug 3, 2020

Sparse and Compressive Sensing Techniques参考文献 59被引用数 6

ひとこと要約

本論文は、深層学習における暗黙の正則化が、訓練中にタスク関連の方向へニューラル接線特徴が動的に対合することに起因し、特徴選択と圧縮の両方のメカニズムとして機能することを提案する。接線カーネルのスペクトルとそのクラスラベルとの対合に関する幾何学的および機能的解析を通じて、一般化性能とより強く相関する新たなヒューリスティックな複雑性測度を導入した。

ABSTRACT

We approach the problem of implicit regularization in deep learning from a geometrical viewpoint. We highlight a regularization effect induced by a dynamical alignment of the neural tangent features introduced by Jacot et al, along a small number of task-relevant directions. This can be interpreted as a combined mechanism of feature selection and compression. By extrapolating a new analysis of Rademacher complexity bounds for linear models, we motivate and study a heuristic complexity measure that captures this phenomenon, in terms of sequences of tangent kernel classes along optimization paths.

研究の動機と目的

• 過パラメータ化された深層ニューラルネットワークにおける一般化を可能にする、明示的な正則化なしに働く暗黙の正則化メカニズムを理解すること。
• 訓練中にニューラル接線特徴の幾何構造がどのように変化し、モデル容量にどのように影響するかを調査すること。
• 接線カーネルの対合に基づく新たなヒューリスティックな複雑性測度を提案し、一般化性能をよりよく予測すること。

提案手法

• 関数クラス上の計量テンソルとして、ニューラル接線特徴の非中心化共分散を分析し、フィッシャー情報計量に類似させる。
• 接線カーネルのスペクトル分解を用いて、最適化過程における主成分がタスク関連の方向へどのように対合するかを追跡する。
• 接線カーネルスペクトルの非等方性とラベルカーネルとの中心化カーネル対合（CKA）を用いた、ヒューリスティックな複雑性測度を導入する。
• 接線カーネルダイナミクスを介して、線形モデルからのラダマール複雑性解析を非線形設定に拡張する。
• 保持済みテストセットを用いて、MLP、VGG19、ResNet18 などのアーキテクチャおよびMNIST、CIFAR10 などのデータセットで、対合ダイナミクスを実験的に評価する。
• 深さ、学習率、ラベルの汚染に関するアブレーションスタディを実施し、対合効果の頑健性と一般性を検証する。

実験結果

リサーチクエスチョン

• RQ1 2次元ディスクデータセットにおいて、初期化時から2000イテレーション後までに、第1固有値に対する第20固有値の比が1.5%から0.2%に低下する。
• RQ2 接線カーネルの上位固有関数は、データの構造的パターン（例：ディスクデータセットにおける円形境界）を捉えるよう進化し、タスク関連特徴と対合していることを示している。
• RQ3 すべてのアーキテクチャおよびデータセットで、接線カーネルとラベルカーネル間の中心化カーネル対合（CKA）が著しく向上し、ターゲット関数との対合が強まっていることが示された。
• RQ4 提案されたヒューリスティックな複雑性測度は、スペクトルノルム、フロベニウスノルム、パラメータノルムといった従来の測度よりも、一般化性能とより強く相関していた。
• RQ5 深層ネットワークでは、対合の開始が遅いが、より顕著な増加を示し、容易な例と難しい例の間の対合比が高くなることから、深さが暗黙の正則化効果を強化していることが示唆された。
• RQ6 カーネルが中心化されていなくても、対合効果が維持されることから、対合は中心化の副産物ではなく、接線特徴ダイナミクスの頑健な性質であることが確認された。

主な発見

• 接線カーネルのスペクトルは訓練中にますます非等方的になる。2次元ディスクデータセットでは、初期化時から2000イテレーション後までに、第20固有値と第1固有値の比が1.5%から0.2%に低下した。
• 接線カーネルの上位固有関数は、データの構造的パターン（例：ディスクデータセットにおける円形境界）を捉えるよう進化し、タスク関連特徴と対合している。
• すべてのアーキテクチャおよびデータセットで、接線カーネルとラベルカーネル間の中心化カーネル対合（CKA）が著しく向上し、ターゲット関数との対合が強まっていることが示された。
• 提案されたヒューリスティックな複雑性測度は、スペクトルノルム、フロベニウスノルム、パラメータノルムといった従来の測度よりも、一般化性能とより強く相関していた。
• 深層ネットワークでは、対合の開始が遅いが、より顕著な増加を示し、容易な例と難しい例の間の対合比が高くなることから、深さが暗黙の正則化効果を強化していることが示唆された。
• カーネルが中心化されていなくても、対合効果が維持されることから、対合は中心化の副産物ではなく、接線特徴ダイナミクスの頑健な性質であることが確認された。