[論文レビュー] Every Model Learned by Gradient Descent Is Approximately a Kernel Machine

Pedro Domingos|arXiv (Cornell University)|Nov 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 49

ひとこと要約

この論文は、勾配降下法で訓練された任意のモデルが、パス・カーネルを用いたカーネル機械にほぼ近似することを示しており、深層ネットワークをカーネル法として解釈可能にする。

ABSTRACT

Deep learning's successes are often attributed to its ability to automatically discover new representations of the data, rather than relying on handcrafted features like other learning methods. We show, however, that deep networks learned by the standard gradient descent algorithm are in fact mathematically approximately equivalent to kernel machines, a learning method that simply memorizes the data and uses it directly for prediction via a similarity function (the kernel). This greatly enhances the interpretability of deep network weights, by elucidating that they are effectively a superposition of the training examples. The network architecture incorporates knowledge of the target function into the kernel. This improved understanding should lead to better learning algorithms.

研究の動機と目的

• 勾配降下法で訓練された深層ネットワークがなぜカーネル機械のように振る舞うのかを理解する動機づけ。
• 最終的なモデルがパス・カーネルを用いたカーネル機械として表現できることを示す。
• 深層ネットワークを勾配空間内の訓練例の重ね合わせとして解釈することの解釈可能性への影響を説明する。

提案手法

• 学習過程の勾配流の基礎として接線カーネルとパス・カーネルを定義する。
• 学習率が0に近づくと、最終モデルがパス・カーネルを持つカーネル機械と等しくなることを導出する。
• 最終モデルを y = sum_i a_i K(x, x_i) + b と表現する。ここで K はパス・カーネルである。
• 結果をニューラル・タンジェント・カーネルと関連づけ、パス積分の下で正定性を示す。
• 勾配降下は接線カーネルの列に対するブースティングのように作用することを論じる。

実験結果

リサーチクエスチョン

• RQ1 すべての勾配降下法で訓練されたモデルを、データ依存カーネルを持つカーネル機械として表現できるか？
• RQ2 学習経路と重み勾配に基づいてカーネルはどのように定義されるか？
• RQ3 深層ネットワークをカーネル機械として見ることの解釈可能性とスケーラビリティへの影響は？
• RQ4 この見方はニューラル・タンジェント・カーネルおよび既存のカーネル理論とどのように関連するか？
• RQ5 小さな学習率でない場合や非勾配ベースの方法の場合の制約と未解決の課題は？

主な発見

• 勾配降下は、パス・カーネルを用いたカーネル機械にほぼ近いモデルを生み出す。
• パス・カーネルは学習経路に沿った勾配の内積を積分する。
• 最終モデルは事前モデルと訓練データに依存するカーネルベースの補正の和である。
• 線形モデルでは、パス・カーネルは内積に縮小し、パーセプトロンをカーネル機械として回復する。
• 正則化と損失の微分はカーネルを介して訓練例の重みづけを行い、その影響を左右する。
• この結果は勾配空間における訓練例の重ね合わせとして重みを示すことで解釈可能性を提供する。