[論文レビュー] Implicit Regularization in Deep Learning: A View from Function Space.

Aristide Baratin, Thomas George+5 more|arXiv (Cornell University)|Aug 3, 2020

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、訓練中のタスク関連方向に沿ったニューラルタングエント・特徴の幾何的整合性に基づき、深層ニューラルネットワークの新たな複雑性測度を提案する。線形モデルにおけるラデマッハ複雑性の分析を、接続カーネルクラスの系列へと拡張することで、この動的整合性から生じる暗黙的正則化の仕組みを明らかにし、深層学習における一般化の関数空間的視点を提供する。

ABSTRACT

We approach the problem of implicit regularization in deep learning from a geometrical viewpoint. We highlight a possible regularization effect induced by a dynamical alignment of the neural tangent features introduced by Jacot et al, along a small number of task-relevant directions. By extrapolating a new analysis of Rademacher complexity bounds in linear models, we propose and study a new heuristic complexity measure for neural networks which captures this phenomenon, in terms of sequences of tangent kernel classes along in the learning trajectories.

研究の動機と目的

• 関数空間に焦点を当てた幾何的レンズを通じて、深層学習における暗黙的正則化を理解すること。
• タスク関連方向に沿ったニューラルタングエント特徴の整合性が一般化に与える寄与を特定すること。
• 訓練中の接続カーネルクラスの進化を捉える新しいヒューリスティックな複雑性測度を構築すること。
• 線形モデルにおけるラデマッハ複雑性分析を、深層ネットワークのカーネルクラスの軌道へと拡張すること。
• 確率的勾配降下法がなぜ過パラメータ化されたモデルにおいても一般化を達成するのか、その理論的洞察を提供すること。

提案手法

• 訓練軌道に沿った接続カーネルクラスの系列に基づく新たな複雑性測度を提案する。
• 特徴の整合性の幾何的解釈を用い、ネットワークの暗黙的インダクティブバイアスが主な方向に沿った整合性から生じることを示す。
• 線形モデルにおけるラデマッハ複雑性の境界を、カーネルの進化を通じて深層ネットワークの一般化能力を分析するように適応する。
• 学習ダイナミクスを、訓練軌道上の各点に対応するカーネルクラスの系列としてモデル化する。
• ニューラルタングエント特徴とタスク関連方向の整合性を分析し、暗黙的正則化の度合いを定量化する。
• 各訓練ステップにおける接続カーネルの特異値および方向に依存する関数として複雑性測度を定式化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルタングエント特徴がタスク関連方向に沿ってどのように整合化されるかが、深層ニューラルネットワークの一般化に与える影響は何か？
• RQ2 接続カーネル系列に基づく複雑性測度は、SGD訓練における暗黙的正則化効果を捉えることができるか？
• RQ3 特徴の整合性の幾何的構造は、明示的な重み減衰を越えて一般化をどのように説明できるか？
• RQ4 線形モデルにおけるラデマッハ複雑性境界は、深層ネットワークのカーネルクラスの軌道へとどの程度拡張可能か？
• RQ5 接続カーネルの動的進化が、深層学習モデルのインダクティブバイアスをどのように形作るか？

主な発見

• 提案された複雑性測度は、少数のタスク関連方向に沿ったニューラルタングエント特徴の整合性を通じて、暗黙的正則化効果を効果的に捉えている。
• 分析により、一般化は最終モデルそのものではなく、接続カーネルクラスの系列によって支配されていることが明らかになった。
• 特徴の幾何的整合性は、訓練中の仮説空間の有効な複雑性を低減する。
• この手法は、過パラメータ化にもかかわらずSGDが良好に一般化する理由について理論的説明を提供する。
• 複雑性測度はネットワークの軌道に敏感であり、最適化ダイナミクスが一般化に与える重要性を強調している。
• 結果から、暗黙的正則化は重み減衰や初期化の単なる結果ではなく、接続カーネルの進化の内在的幾何的構造に起因することが示唆された。