[論文レビュー] Gradient Descent Quantizes ReLU Network Features

Hartmut Maennel, Olivier Bousquet+1 more|arXiv (Cornell University)|Mar 22, 2018

Stochastic Gradient Optimization Techniques参考文献 10被引用数 27

ひとこと要約

この論文は、小さな初期化を伴う過パラメータ化されたReLUネットワークにおける勾配降下法が、重みベクトルを有限個のデータに依存する方向へ量子化することを提案している。これは、モデルが有限個の「単純な」区分線形関数しか学習しないように効果的に制約することを意味する。主な結果は、訓練のダイナミクスが、三角形分割における線形補間に類似した関数へ自然に収束することであり、これは無限大の容量を持つにもかかわらず一般化が成立する理由を説明する可能性がある。

ABSTRACT

Deep neural networks are often trained in the over-parametrized regime (i.e. with far more parameters than training examples), and understanding why the training converges to solutions that generalize remains an open problem. Several studies have highlighted the fact that the training procedure, i.e. mini-batch Stochastic Gradient Descent (SGD) leads to solutions that have specific properties in the loss landscape. However, even with plain Gradient Descent (GD) the solutions found in the over-parametrized regime are pretty good and this phenomenon is poorly understood. We propose an analysis of this behavior for feedforward networks with a ReLU activation function under the assumption of small initialization and learning rate and uncover a quantization effect: The weight vectors tend to concentrate at a small number of directions determined by the input data. As a consequence, we show that for given input data there are only finitely many, "simple" functions that can be obtained, independent of the network size. This puts these functions in analogy to linear interpolations (for given input data there are finitely many triangulations, which each determine a function by linear interpolation). We ask whether this analogy extends to the generalization properties - while the usual distribution-independent generalization property does not hold, it could be that for e.g. smooth functions with bounded second derivative an approximation property holds which could "explain" generalization of networks (of unbounded size) to unseen inputs.

研究の動機と目的

• 過パラメータ化されたReLUネットワークにおける勾配降下法が、高次元の表現能力にもかかわらずなぜ一般化がうまくいくのかを理解すること。
• 小さな重み初期化と学習率が解空間をどのように形作るかを調査すること。
• 勾配降下法がネットワークサイズに依存しない有限個の関数の集合へ収束するかどうかを調査すること。
• 学習されたネットワーク関数と入力データの三角形分割における線形補間との類似性を分析すること。
• このような関数が、2階微分が有界な滑らかな関数に対して近似性を示すかどうかを特定すること。

提案手法

• 1層のReLUネットワークに対して、無限小の重み初期化と学習率の極限における勾配降下のダイナミクスを分析する。
• 訓練プロセスを2段階のメカニズムとしてモデル化する：(i) 重みベクトルが離散的なデータ依存方向へ整列する、(ii) 損失が最小化される。
• 解を、損失を最小化するように1つずつニューロンを追加する貪欲なネットワーク構築と同等なものとして形式化する。
• 最終的なネットワーク関数と、入力データの三角形分割における区分線形補間との対応関係を確立する。
• 数学的解析により、ネットワークサイズにかかわらず、学習可能な関数は有限個に限られることを示す。
• トロイデータおよびMNISTを用いて、貪欲な訓練シミュレーションによるモデルの実証的検証を行う。

実験結果

リサーチクエスチョン

• RQ1 小さな初期化を伴う過パラメータ化されたReLUネットワークにおける勾配降下法は、ネットワークサイズに依存しない有限個の関数に収束するか？
• RQ2 学習された関数は、データによって定義された三角形分割における区分線形補間として解釈可能か？
• RQ3 これらの関数は、2階微分が有界な滑らかな関数に対して近似性を示すか？
• RQ4 この状態で、重みベクトルが離散的なデータ依存方向へ整列することは、勾配降下法の普遍的特徴か？
• RQ5 この量子化効果が、深層ネットワークにおける一般化をどの程度説明できるか？

主な発見

• 小さな初期化を伴う勾配降下法は、ネットワークサイズに依存しない有限個のデータ依存方向へ重みベクトルが整列することを示した。
• 得られた関数は区分線形であり、折り目（kinks）の数は訓練データ点の数で上限が定まる。例えば、直線上にK個の点がある場合、最大で2K + 1個の折り目を持つ。
• 最終的なネットワーク関数は、最小の区分線形補間を貪欲に構築するものと同等であり、多くの場合、線形補間に非常に近い。
• 数値実験では、大きなネットワークでも最終関数は単純で、特に元の関数が滑らかである場合には一般化性能が良好であることが示された。
• MNISTの訓練で観察される主要な挙動、例えば活性ニューロン数が訓練データサイズに対して非線形的に増加することをモデルが捉えている。
• アニメーションから、折り目の整列が訓練データ点や折り目点に一致することが観察され、解に強いデータ駆動的構造があることが示された。