[論文レビュー] Weak and Strong Gradient Directions: Explaining Memorization, Generalization, and Hardness of Examples at Scale

Piotr Zieliński, Shankar Krishnan+1 more|arXiv (Cornell University)|Mar 16, 2020

Stochastic Gradient Optimization Techniques参考文献 20被引用数 5

ひとこと要約

この論文は、ImageNetで訓練された深層畳み込みニューラルネットワーク（ResNet、Inception、VGG）において、M3およびRM3というスケーラブルな手法を導入することで、Coherent Gradients Hypothesis（CGH）を大規模に検証した。これらの手法は座標ベースの平均の中央値推定を用いて弱い勾配方向を抑圧する。主な貢献は、弱い勾配を抑圧することで記憶が抑えられ、一般化性能が向上することを実証的裏付けとして示したことである。また、容易な例（早期に学習される）と難しい例の学習順序に基づく、データ依存の新たなテストを提案し、CGHの核心的直感を確認した。

ABSTRACT

Coherent Gradients (CGH) is a recently proposed hypothesis to explain why over-parameterized neural networks trained with gradient descent generalize well even though they have sufficient capacity to memorize the training set. The key insight of CGH is that, since the overall gradient for a single step of SGD is the sum of the per-example gradients, it is strongest in directions that reduce the loss on multiple examples if such directions exist. In this paper, we validate CGH on ResNet, Inception, and VGG models on ImageNet. Since the techniques presented in the original paper do not scale beyond toy models and datasets, we propose new methods. By posing the problem of suppressing weak gradient directions as a problem of robust mean estimation, we develop a coordinate-based median of means approach. We present two versions of this algorithm, M3, which partitions a mini-batch into 3 groups and computes the median, and a more efficient version RM3, which reuses gradients from previous two time steps to compute the median. Since they suppress weak gradient directions without requiring per-example gradients, they can be used to train models at scale. Experimentally, we find that they indeed greatly reduce overfitting (and memorization) and thus provide the first convincing evidence that CGH holds at scale. We also propose a new test of CGH that does not depend on adding noise to training labels or on suppressing weak gradient directions. Using the intuition behind CGH, we posit that the examples learned early in the training process (i.e., "easy" examples) are precisely those that have more in common with other training examples. Therefore, as per CGH, the easy examples should generalize better amongst themselves than the hard examples amongst themselves. We validate this hypothesis with detailed experiments, and believe that it provides further orthogonal evidence for CGH.

研究の動機と目的

• ImageNetで訓練された大規模なディープラーニングモデル（ResNet、Inception、VGG）におけるCoherent Gradients Hypothesis（CGH）の検証。
• 従来のCGH検証手法が小規模なトロイモデルでのみ機能していたというスケーラビリティの制限を克服すること。
• 個々の例の勾配を必要としない、効率的な勾配抑圧技術の開発により、大規模な学習を可能にすること。
• 容易な例と難しい例の学習順序の観察に基づき、CGHの新たなデータドリブンテストの提案：CGHが成り立つならば、容易な例同士の一般化性能は難しい例同士よりも優れているはずである。
• 一般化が関数の本質的な単純さではなく、共有された一貫性のある勾配方向に起因することを実証的裏付けとして提供すること。

提案手法

• M3を提案：ミニバッチを3つのグループに分割し、勾配の中央値を計算することで弱い方向を抑圧する座標ベースの中央値の平均推定法。
• RM3を導入：直近2ステップ分の勾配を再利用して中央値を計算することで、計算オーバーヘッドを低減する、より効率的なバージョン。
• 弱い勾配の抑圧を、個々の例の勾配計算を必要としないロバストな平均推定問題として定式化し、個々の例の勾配計算なしにスケーラブルかつ安定した学習を可能にした。
• 学習順序（早期 vs. 後期）を用いてCGHをテストする代理指標として用いた：CGHが成り立つならば、容易な例同士の一般化性能は難しい例同士よりも優れているはずである。
• RM3を用いてモデルを学習し、複数回のランダム初期化における学習順序の一貫性を測定することで、難易度の異なる例における一般化性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 Coherent Gradients Hypothesis（CGH）は、ImageNetで訓練された大規模なディープ畳み込みネットワークで成り立つか？
• RQ2 個々の例の勾配計算を一切行わず、スケールに応じて弱い勾配方向を効果的に抑圧できるか？
• RQ3 弱い勾配を抑圧することで、実世界のビジョンベンチマークで記憶が抑えられ、一般化性能が向上するか？
• RQ4 訓練の初期に学習される例（容易な例）は、難しい例と比較して、自分自身の間でより良い一般化性能を示すか、すなわちCGHの予測通りか？
• RQ5 ラベルノイズや勾配抑圧に依存しない、データ依存的で干渉のないCGHのテストは存在するか？

主な発見

• M3およびRM3手法は、ImageNetにおけるResNet-18、Inception、VGGモデルで、大規模に弱い勾配方向を効果的に抑圧し、過学習と記憶の抑制を達成した。
• 90エポック後、超難しい例（難易度8）ではRM3下でトップ1正答率が61%にとどまった一方、超容易な例では99%に達しており、弱い勾配が難しい例の学習を妨げることを確認した。
• RM3で学習したモデルは、破損したラベルに対して著しく記憶が抑えられ、ラベルノイズが増加するに従いテスト正答率が滑らかに低下する傾向を示し、一般化性能の向上を示した。
• 難しい例に学習させたモデルは、容易な例に対しては一般化が著しく劣り（正答率44%）、SGDが次第に複雑な関数を探索するという仮説に反し、初期段階で共通するパターンが一般化にとってより重要であることを示唆した。
• 学習順序の分析により、容易な例同士の一般化性能が難しい例同士よりも優れていることが確認され、CGHに対する補足的で干渉のない証拠が得られた。