[論文レビュー] Layer rotation: a surprisingly powerful indicator of generalization in deep networks?

Simon Carbonnelle, Christophe De Vleeschouwer|arXiv (Cornell University)|Jun 5, 2018

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、層の最終重みと初期化重みの間のコサイン距離として測定されるレイヤー回転を、深層ニューラルネットワークにおける汎化性能の強力で一貫性のある指標として導入する。実験的に、特にコサイン距離が1に近づく大きなレイヤー回転は、テスト精度の向上（最大30%の向上）と強く相関しており、学習率、重み減衰、およびアダプティブ最適化手法の効果を統一的に理解するためのフレームワークを提供することが示された。

ABSTRACT

Our work presents extensive empirical evidence that layer rotation, i.e. the evolution across training of the cosine distance between each layer's weight vector and its initialization, constitutes an impressively consistent indicator of generalization performance. In particular, larger cosine distances between final and initial weights of each layer consistently translate into better generalization performance of the final model. Interestingly, this relation admits a network independent optimum: training procedures during which all layers' weights reach a cosine distance of 1 from their initialization consistently outperform other configurations -by up to 30% test accuracy. Moreover, we show that layer rotations are easily monitored and controlled (helpful for hyperparameter tuning) and potentially provide a unified framework to explain the impact of learning rate tuning, weight decay, learning rate warmups and adaptive gradient methods on generalization and training speed. In an attempt to explain the surprising properties of layer rotation, we show on a 1-layer MLP trained on MNIST that layer rotation correlates with the degree to which features of intermediate layers have been trained.

研究の動機と目的

• 多様な深層学習の訓練設定において、汎化性能を一貫して評価できる一般化可能で解釈可能な指標を同定すること。
• 訓練中に重みベクトルの進化（特に初期化からの角度的ずれ）がテスト精度と相関するかどうかを調査すること。
• レイヤー回転が、学習率スケジューリング、重み減衰、アダプティブ最適化手法といった広く使われる訓練手法の効果を統一的に理解する枠組みとして機能するかを同定すること。
• 実務家が単純に監視可能で制御可能なハイパーパrameterチューニングのための指標を提供すること。

提案手法

• レイヤー回転は、各層の最終重みベクトルと初期重みベクトルの間のコサイン距離として定義され、訓練エポックごとに計算される。
• 著者は、確率的勾配降下法におけるモーメンタム項を調整することでレイヤー回転を制御できる訓練方式「SGD_AMom」を実装した。
• 異なるレイヤー回転レベルが学習された特徴に与える影響を可視化するために、縮小されたMNISTデータセットを用いた1層のMLPを用いた制御された実験設定を採用した。
• 複数のアーキテクチャ（例：ResNet、VGG）、データセット（例：CIFAR-10、ImageNet）、訓練手順（SGD、Adam、重み減衰）を用いた一連の実験を通じて、汎化の傾向を検証した。
• KerasおよびTensorFlowに公開されたツールセットを用いて、レイヤー回転を監視・制御可能にし、実務家がこの指標に基づいて訓練ダイナミクスをチューニングできるようにした。
• 1層のMLPにおける学習済み特徴の可視化を通じて、理論的直感を提示。レイヤー回転は特徴の学習度とは関係があるが、特徴そのもののアイデンティティとは関係がないことを示唆した。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの重みの角度的進化（レイヤー回転）は、多様なアーキテクチャやデータセットにおいて、一貫して汎化性能と相関するか？
• RQ2 テスト精度を最大化するネットワークに依存しない最適なレイヤー回転値が存在するか？
• RQ3 レイヤー回転は、学習率チューニング、重み減衰、アダプティブ勾配法の効果を統一的に説明する枠組みとして機能できるか？
• RQ4 レイヤー回転は中間層における特徴学習の度合いとどのように関係するか？
• RQ5 レイヤー回転は訓練中に監視・制御可能であり、最小限のハイパーパrameterチューニングでモデル性能の向上に寄与できるか？

主な発見

• 大きなレイヤー回転（特にコサイン距離が1.0に近づくもの）は、一貫してより良い汎化性能をもたらし、テスト精度は最大30%向上する。
• 最適なレイヤー回転値はネットワークアーキテクチャに依存しない：初期化からのコサイン距離が1.0に達するすべての層が、最良の汎化性能を示す。
• レイヤー回転は、中間特徴がどれだけ学習されたか（特徴そのものではなく）と強く相関しており、MNIST上の1層MLPの結果から明らかになった。
• 高レイヤー回転を達成する訓練手順（例：SGD_AMom）は、パラメータレベルの適応を実行しないにもかかわらず、Adamのようなアダプティブ最適化手法と同等またはそれ以上の訓練速度を達成した。
• レイヤー回転は訓練中に簡単に監視・制御可能であり、追加計算コストを最小限に抑えつつ、ハイパーパrameterチューニングの実用的ツールを提供する。
• 本手法は、学習率スケジューリング、重み減衰、アダプティブ手法の影響が、汎化性能および訓練速度に与える影響を統一的に説明する枠組みを提供する。