[論文レビュー] Layer rotation: a surprisingly simple indicator of generalization in deep networks?

Simon Carbonnelle, Christophe De Vleeschouwer|arXiv (Cornell University)|May 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 8

ひとこと要約

この論文は、各層の重みベクトルとその初期化との間のコサイン距離として測定されるレイヤー回転—深層ネットワークの一般化を単純で一貫性があり、ネットワークに依存しない指標として導入する。訓練手順において、すべての層が初期化からのコサイン距離1に達する場合、他の設定よりも最大20%高いテスト精度を示し、正則化項と適応的最適化手法の一般化への影響を統一的に説明できる。

ABSTRACT

Our work presents empirical evidence that layer rotation, i.e. the evolution across training of thecosine distance between each layer’s weight vector and its initialization, constitutes an impressively consistent indicator of generalization performance. Compared to previously studied indicators of generalization, we show that layer rotation has the additional benefit of being easily monitored and controlled, as well as having a network independent optimum: the training procedures during which all layers’ weights reach a cosine distance of 1 from their initialization consistently outperform other configurations -by up to 20% test accuracy. Finally, our results also suggest that the study of layer rotation can provide a unified framework to explain the impact of weight decay and adaptive gradient methods on generalization.

研究の動機と目的

• 深層ニューラルネットワークにおける一般化の単純で一貫性があり、ネットワークに依存しない指標を特定すること。
• 重みベクトルの初期化からの相対的変化の進化がテスト性能と相関するかどうかを調査すること。
• レイヤー回転が、重み減衰や勾配の適応的最適化手法のような正則化と最適化手法の一般化への理解を統合できるかを評価すること。
• レイヤー回転の監視と制御が一般化の向上に寄与することを実証すること。

提案手法

• レイヤー回転は、訓練中に各層の現在の重みベクトルと初期重みベクトルとの間のコサイン距離として計算される。
• この方法は、深層ネットワークの各層について、訓練エポックにわたるコサイン距離の変化を追跡する。
• 論文は、すべての層が初期化からのコサイン距離1に達するかどうかに基づいて、さまざまな訓練手順における一般化性能を比較する。
• 重み減衰と適応的最適化手法（例：Adam）の影響は、レイヤー回転ダイナミクスへの影響を分析することで評価される。
• 一般化可能性を確保するため、複数のアーキテクチャとデータセットを用いて分析が実施される。
• このフレームワークは、正則化と最適化の選択が一般化に与える影響をレイヤー回転を通じて解釈するために用いられる。

実験結果

リサーチクエスチョン

• RQ1 レイヤー回転（重みと初期化との間のコサイン距離）は、深層ネットワークにおける一般化性能の信頼できる予測指標として機能するか？
• RQ2 すべての層が初期化からのコサイン距離1に達する訓練手順は、一貫してテスト精度を向上させるか？
• RQ3 レイヤー回転は、重み減衰と適応的勾配手法の一般化への理解をどのように統合するか？
• RQ4 レイヤー回転は、異なるアーキテクチャやデータセットに適用可能なネットワークに依存しない指標か？

主な発見

• すべての層が初期化からのコサイン距離1に達する訓練手順では、他の設定よりも一貫して優れた一般化性能を示し、テスト精度が最大20%向上する。
• レイヤー回転は、一般化の観点で信頼性と解釈可能性の両面で優れた、一貫性があり、容易に監視可能な指標であり、従来の指標を上回る。
• すべての層が完全にコサイン距離1に回転する場合に最適な一般化性能が達成され、これはネットワークに依存しない訓練目標を示唆する。
• レイヤー回転は、重み減衰と適応的勾配手法の一般化効果を統合的に説明するフレームワークを提供する。
• 本研究では、重み減衰と適応的最適化手法が一般化に与える影響が主にレイヤー回転のダイナミクスを形作ることによって生じていることが明らかになった。
• 結果から、訓練中にレイヤー回転を制御することが、モデルの一般化を向上させる実用的な戦略である可能性がある。