[논문 리뷰] Weak and Strong Gradient Directions: Explaining Memorization, Generalization, and Hardness of Examples at Scale

Piotr Zieliński, Shankar Krishnan외 1명|arXiv (Cornell University)|2020. 03. 16.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 ImageNet에서 훈련된 딥 컨volution 네트워크(ResNet, Inception, VGG)에서 스케일링 가능한 방법인 M3 및 RM3를 도입하여, 좌표 기반의 평균 중앙값 추정을 통해 약한 기울기 방향을 억제함으로써 Coherent Gradients Hypothesis(CGH)를 대규모로 검증한다. 주요 기여는 약한 기울기를 줄임으로써 기억화를 억제하고 일반화 성능을 향상시킬 수 있는 경험적 증거를 제시한 것으로, 동시에 쉽게 학습되는 예시와 어려운 예시의 훈련 순서를 기반으로 한 새로운 데이터 의존적 테스트를 제안하여 CGH의 核심 통찰을 확인한다.

ABSTRACT

Coherent Gradients (CGH) is a recently proposed hypothesis to explain why over-parameterized neural networks trained with gradient descent generalize well even though they have sufficient capacity to memorize the training set. The key insight of CGH is that, since the overall gradient for a single step of SGD is the sum of the per-example gradients, it is strongest in directions that reduce the loss on multiple examples if such directions exist. In this paper, we validate CGH on ResNet, Inception, and VGG models on ImageNet. Since the techniques presented in the original paper do not scale beyond toy models and datasets, we propose new methods. By posing the problem of suppressing weak gradient directions as a problem of robust mean estimation, we develop a coordinate-based median of means approach. We present two versions of this algorithm, M3, which partitions a mini-batch into 3 groups and computes the median, and a more efficient version RM3, which reuses gradients from previous two time steps to compute the median. Since they suppress weak gradient directions without requiring per-example gradients, they can be used to train models at scale. Experimentally, we find that they indeed greatly reduce overfitting (and memorization) and thus provide the first convincing evidence that CGH holds at scale. We also propose a new test of CGH that does not depend on adding noise to training labels or on suppressing weak gradient directions. Using the intuition behind CGH, we posit that the examples learned early in the training process (i.e., "easy" examples) are precisely those that have more in common with other training examples. Therefore, as per CGH, the easy examples should generalize better amongst themselves than the hard examples amongst themselves. We validate this hypothesis with detailed experiments, and believe that it provides further orthogonal evidence for CGH.

연구 동기 및 목표

• ImageNet에서 훈련된 대규모 딥 러닝 모델인 ResNet, Inception, VGG에서 Coherent Gradients Hypothesis(CGH)를 검증하는 것.
• 이전의 CGH 검증 방법이 소규모 토이 모델에서만 작동해 스케일링에 한계가 있었음을 해결하는 것.
• 개별 예시의 기울기를 요구하지 않는 효율적인 기울기 억제 기법을 개발하여 대규모 훈련을 가능하게 하는 것.
• 쉬운 예시와 어려운 예시의 훈련 순서 관찰에 기반한 새로운 데이터 기반 테스트를 제안하여 CGH를 검증하는 것.
• 일반화가 함수의 본질적 단순성보다는 공유된 일관된 기울기 방향에 의해 이뤄진다는 경험적 증거를 제공하는 것.

제안 방법

• 미니배치를 세 그룹으로 나누어 기울기의 중앙값을 계산함으로써 약한 방향을 억제하는 좌표 기반 중앙값 평균 알고리즘인 M3를 제안한다.
• 이전 두 시간 단계의 기울기를 재사용하여 중앙값을 계산함으로써 계산 오버헤드를 줄인 더 효율적인 변형인 RM3를 도입한다.
• 약한 기울기 억제를 강건한 평균 추정 문제로 재정의하여, 개별 예시 기울기 계산 없이도 스케일링 가능하고 안정적인 훈련을 가능하게 한다.
• 훈련 순서(초기 vs. 후기)를 사용하여 CGH를 테스트하는 대체 지표로 활용: CGH가 성립한다면, 쉬운 예시는 어려운 예시보다 서로 간에 더 잘 일반화되어야 한다.
• RM3를 사용해 모델을 훈련하고, 다양한 난이도의 예시들 간의 일반화 성능를 비교하며, 다수의 무작위 초기화에서 훈련 순서의 일관성으로 측정된 난이도를 기반으로 분석한다.

실험 결과

연구 질문

• RQ1 Coherent Gradients Hypothesis(CGH)는 ImageNet에서 훈련된 대규모 딥 컨volution 네트워크에서 성립하는가?
• RQ2 개별 예시 기울기 계산 없이도 스케일링 가능한 약한 기울기 방향을 효과적으로 억제할 수 있는가?
• RQ3 약한 기울기를 억제하면 실제 비전 벤치마크에서 기억화가 줄어들고 일반화 성능이 향상되는가?
• RQ4 훈련 초반에 학습되는 예시(쉬운 예시)는 어려운 예시보다 서로 간에 더 잘 일반화되는가? (CGH의 예측과 일치하는가?)
• RQ5 라벨 노이즈나 기울기 억제에 의존하지 않는 데이터 의존적이고 간섭 없는 CGH 검증 테스트가 존재하는가?

주요 결과

• M3 및 RM3 방법은 ImageNet에서 ResNet-18, Inception, VGG 모델에 대해 약한 기울기 방향을 성공적으로 스케일링하여 과적합과 기억화를 줄였다.
• 90 에포크 후, 초하드 예시(난이도 8)는 RM3 하에서 상위 1 정확도가 61%에 그쳤지만, 초간단 예시는 99%에 이르렀으며, 이는 약한 기울기가 하드 예시의 학습을 저해함을 확인한다.
• RM3로 훈련된 모델은 손상된 라벨에 대해 훨씬 더 유연하게 일반화 성능이 떨어지며, 라벨 노이즈가 증가함에 따라 테스트 정확도가 점진적으로 감소함을 보여, 일반화 성능 향상을 시사한다.
• 하드 예시에 대해 훈련된 모델은 쉬운 예시에 대해 일반화 성능이 열악했으며(정확도 44%), 이는 SGD가 점점 더 복잡한 함수를 탐색한다는 개념과 배치되며, 초기에 공통되는 패tern이 일반화에 더 중요하다는 것을 시사한다.
• 훈련 순서 분석 결과, 쉬운 예시는 어려운 예시보다 서로 간에 더 잘 일반화됨을 확인하여, CGH에 대한 독립적이고 간섭 없는 추가 증거를 제공한다.