[論文レビュー] Quantifying the Benefit of Using Differentiable Learning over Tangent Kernels

Eran Malach, Pritish Kamath+2 more|arXiv (Cornell University)|Mar 1, 2021

Neural Networks and Applications参考文献 21被引用数 4

ひとこと要約

この論文は、勾配降下法が、ニューラルネットワークのような微分可能なモデルに対して、テスト誤差を非常に低くすることができるが、対応する接線カーネル（NTK）はランダムな推測よりも顕著な優位性を示さない場合があること、すなわち、従来の仮定とは反して、を示している。主な洞察は、初期化に偏りがある場合、勾配降下法はカーネル法が失敗する状況でも成功しうることであり、非凸最適化とカーネルベースのアプローチの間には、学習能力に根本的な差が存在することを示している。

ABSTRACT

We study the relative power of learning with gradient descent on differentiable models, such as neural networks, versus using the corresponding tangent kernels. We show that under certain conditions, gradient descent achieves small error only if a related tangent kernel method achieves a non-trivial advantage over random guessing (a.k.a. weak learning), though this advantage might be very small even when gradient descent can achieve arbitrarily high accuracy. Complementing this, we show that without these conditions, gradient descent can in fact learn with small error even when no kernel method, in particular using the tangent kernel, can achieve a non-trivial advantage over random guessing.

研究の動機と目的

• 微分可能なモデルにおける勾配降下法が、対応する接線カーネルがランダムな推測よりも顕著な優位性を示さない（すなわち、非自明な優位性がない）場合に、それでも学習に成功するかどうかを調査すること。
• 勾配降下法の成功が、NTKが非自明な優位性を達成していることに依存するかどうか、特に異なる初期化スキーム下での状況を特定すること。
• 入力分布の知識が、勾配降下法がカーネル法に勝る状況を可能にする役割を検証すること。
• 特に分布に依存しない学習設定において、微分可能な学習がカーネルベースの学習を上回る条件を明確にすること。
• 偏りのある初期化が、NTKを含むいかなるカーネル法でも非自明な優位性を達成できない状況でも、勾配降下法が複雑な関数を学習可能であることを示すこと。

提案手法

• 勾配降下法が任意に低い誤差を達成するが、初期化時のNTKの優位性が0に限りなく近い合成学習問題を構築する。
• 定理1で、非バイアス初期化（つまり、初期化時に出力が0である）の場合、勾配降下法が成功するためには、NTKがランダムな推測に対して多項式的に有界な優位性を持つ必要があることを証明する。
• 入力分布に依存する確率的初期化スキームを導入し、期待値として、勾配降下法が成功する場合に、この確率的初期化におけるNTKが非自明な優位性を達成することを示す。
• 定理2を用いて、二乗損失の場合、勾配降下法が任意の初期化から成功するならば、ある分布に依存する確率的初期化が存在し、その点におけるNTKが非自明な優位性を持つことを示す。
• 初期化バイアスの役割を分析するため、勾配降下法がバイアスのある初期化から成功するが、いかなるカーネル法（NTKを含む）も非自明な優位性を達成できない反例を構築する。
• 2層のReLUネットワークを用いた実験的検証により、理論的発見を裏付ける。特に、関連する特徴が相関によって特定可能である場合、勾配降下法はカーネル法が失敗する複雑な関数（例：パリティ関数）を学習に成功することが示された。

実験結果

リサーチクエスチョン

• RQ1 微分可能なモデルにおける勾配降下法が、対応する接線カーネルがランダムな推測よりも非自明な優位性を持たない場合でも、関数を学習できるか？
• RQ2 勾配降下法の成功が、NTKが非自明な優位性を達成していることに依存するのか、特に非バイアス初期化下でそうであるか？
• RQ3 分布に依存しない学習設定において、勾配降下法が成功するが、いかなるカーネル法でも非自明な優位性を達成できない状況は存在するか？
• RQ4 入力分布の知識が、勾配降下法がカーネルベースの手法を上回るのを可能にする役割は何か？
• RQ5 初期化バイアスが、勾配降下法の学習能力とカーネル法の学習能力の関係に与える影響は何か？

主な発見

• NTKの優位性が0に限りなく近い状況でも、勾配降下法は任意に低い誤差を達成できることを示し、微分可能な学習とカーネルベースの学習の間で厳密な分離が存在することを示している。
• 非バイアス初期化（初期化時に出力が0）の場合、勾配降下法が成功するためには、NTKがランダムな推測に対して多項式的に有界な優位性を持つ必要があることが、定理1で形式化されている。
• バイアスのある初期化では、勾配降下法が成功するが、いかなるカーネル法（NTKを含む）も非自明な優位性を達成できない状況が存在することを、第5節で示している。
• 二乗損失の場合、勾配降下法が任意の初期化から成功するならば、ある分布に依存する確率的初期化が存在し、その点におけるNTKが非自明な優位性を持つことが、定理2で証明されている。
• 確率的初期化におけるNTKの成功に必要な分布に依存する初期化の要請は、カーネル法と勾配降下法が入力分布の構造を活用する方法に根本的な差があることを示している。
• 2層のReLUネットワークを用いた実験的結果により、勾配降下法がカーネル法が失敗する状況（特に、相関によって関連する特徴が特定可能な場合）でも、複雑な関数（例：パリティ）を学習に成功することが確認された。