[論文レビュー] Stiffness: A New Perspective on Generalization in Neural Networks

Stanislav Fort, Paweł Krzysztof Nowak+2 more|arXiv (Cornell University)|Jan 28, 2019

Neural Networks and Applications参考文献 28被引用数 60

ひとこと要約

本論文は stiffness を、ある例からの勾配更新が他の例の損失にどのように影響するかを測る指標として導入し、勾配の整合性と一般化との関係を示し、それをデータセット・アーキテクチャ・学習率全体で分析する。

ABSTRACT

In this paper we develop a new perspective on generalization of neural networks by proposing and investigating the concept of a neural network stiffness. We measure how stiff a network is by looking at how a small gradient step in the network's parameters on one example affects the loss on another example. Higher stiffness suggests that a network is learning features that generalize. In particular, we study how stiffness depends on 1) class membership, 2) distance between data points in the input space, 3) training iteration, and 4) learning rate. We present experiments on MNIST, FASHION MNIST, and CIFAR-10/100 using fully-connected and convolutional neural networks, as well as on a transformer-based NLP model. We demonstrate the connection between stiffness and generalization, and observe its dependence on learning rate. When training on CIFAR-100, the stiffness matrix exhibits a coarse-grained behavior indicative of the model's awareness of super-class membership. In addition, we measure how stiffness between two data points depends on their mutual input-space distance, and establish the concept of a dynamical critical length -- a distance below which a parameter update based on a data point influences its neighbors.

研究の動機と目的

• ニューラルネットワークにおける一般化の探査手段としての stiffness の動機づけと形式化。
• stiffness がクラス所属、入力空間におけるデータ点間距離、学習エポック、学習率にどう依存するかを検討する。
• 視覚系（MNIST、FASHION-MNIST、CIFAR-10/100）とトランスフォーマー型NLPモデルでの stiffness の挙動を示す。
• stiffness によって明らかになるダイナミカル・クリティカル・長さと意味的グループ構造（スーパー・クラス）を検討する。

提案手法

• 勾配ベースの2つの指標で stiffness を定義する：sign stiffness（g1·g2 の符号）と cosine stiffness（g1 と g2 のコサイン類似度）。
• 勾配 g1 を持つ入力 X1 からの小さな更新が別の入力 X2 の損失をどのように変化させるかを計算する。
• クラス stiffness 行列 C(ca, cb) を構築し、クラス間対クラス内の stiffness を分析する。
• generalization に関連付けるため、train-train、train-val、val-val の設定で stiffness を評価する。
• 入力空間距離の関数として stiffness を測定するために dynamical critical length xi を用いる。
• 学習率とエポックを跨いで stiffness を評価し、より高い学習率が低く、より局所的な stiffness に偏らせる様子を観察する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの stiffness はどのように定義され、一般化について何を明らかにするか？
• RQ2 stiffness はデータセットを超えて、クラス所属や意味的なグルーピング（スーパー・クラスを含む）とどう変化するか？
• RQ3 データポイント間の入力空間距離は stiffness にどう依存するか？
• RQ4 訓練エポックと学習率が stiffness と dynamical critical length xi に与える影響は何か？
• RQ5 stiffness の挙動は視覚モデルと言語モデル（CNN、ResNet、BERT を含む）に一般化するか？

主な発見

• stiffness は一般化と相関する：学習中はクラス内およびクラス間で高い stiffness が観察されるが、過学習とともに低下する。
• クラス内 stiffness は初期から学習中も高いまま、クラス間 stiffness はモデルが学習するにつれて増加する；いずれも過学習が始まると低下する。
• stiffness は意味的に意味のあるグループ構造を明らかにする：CIFAR-100 ではスーパー・クラス内およびさらに上位のスーパー・クラス内でランダムベースラインより高い stiffness が観察される。
• ダイナミカル・クリティカル・長さ xi が存在する：入力空間距離が増大すると stiffness はゼロに近づく；xi は訓練と高い学習率で減少する。
• より高い学習率は xi が小さい関数を生み出し、すなわちより局所的で曲げやすい更新をもたらし、学習された関数に対する正則化効果を示す。
• stiffness の概念は NLP（MNLI に微調整された BERT）にも拡張され、視覚モデルと同様のクラス内・クラス間の動的を示す。