[논문 리뷰] Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization

Sat Chatterjee|arXiv (Cornell University)|2020. 02. 25.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 21

한 줄 요약

이 논문은 일관된 기울기 가설을 제안하며, 경사 하강법이 일반화가 잘 되는 이유는 유사한 예시들로부터 유도된 기울기 성분들이 상호 강화되어 동시에 여러 예시에 유익한 방향으로 파arameter 업데이트를 유도하기 때문이라고 설명한다. 저자들은 이 메커니즘이 딥 러닝에서 일반화를 설명함을 보이며, 약한, 불안정한 기울기 방향을 억제함으로써 과적합을 줄이는 실용적인 수정인 윈저라이즈드 SGD를 제안한다.

ABSTRACT

An open question in the Deep Learning community is why neural networks trained with Gradient Descent generalize well on real datasets even though they are capable of fitting random data. We propose an approach to answering this question based on a hypothesis about the dynamics of gradient descent that we call Coherent Gradients: Gradients from similar examples are similar and so the overall gradient is stronger in certain directions where these reinforce each other. Thus changes to the network parameters during training are biased towards those that (locally) simultaneously benefit many examples when such similarity exists. We support this hypothesis with heuristic arguments and perturbative experiments and outline how this can explain several common empirical observations about Deep Learning. Furthermore, our analysis is not just descriptive, but prescriptive. It suggests a natural modification to gradient descent that can greatly reduce overfitting.

연구 동기 및 목표

• 신경망이 무작위 레이블을 기억할 수 있는 능력에도 불구하고, 경사 하강법이 왜 실질적인 데이터셋에서 잘 일반화되는가를 설명하는 것.
• 학습 과정에서 일반화 가능한 해를 선호하는 경향이 예시 간 기울기 유사성에 의해 유도되는지 조사하는 것.
• 불안정한 기울기 방향을 걸러내는 방식으로 일반화를 향상시키는 경사 하강법의 기술적 수정을 개발하는 것.
• 기울기 일관성과 그가 학습 동역학에 미치는 영향을 통해 일반화를 알고리즘 안정성의 관점에서 연결하는 것.

제안 방법

• 일관된 기울기 가설을 제안: 유사한 예시들은 유사한 기울기 성분을 생성하여 공통 방향에서 더 강하고 안정적인 총 기울기를 이끌어낸다.
• 두 예시를 가정한 사고 실험을 통해 공통 기울기 성분이 일반화 가능한 방향으로 업데이트를 증폭시키는 방식을 설명한다.
• 기울기 강도와 알고리즘 안정성 간의 관계를 분석하며, 강한 기울기는 개별 예시 제거에 대해 덜 민감하다고 주장한다.
• 개별 예시 기울기의 크기를 제한함으로써 과적합을 줄이는 실용적 수정인 윈저라이즈드 SGD를 도입한다.
• 안정성 이론을 통해 일반화를 프레임워크화하며, 비어 있지 않은 일반화 경계는 데이터에 의존하는 기울기 행동을 반영해야 한다고 보여준다.
• 기울기 일관성의 시간적 추적을 가능하게 하는 '안정성 회계사' 비유를 제안하여 데이터 기반 일반화 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 무작위 레이블을 기억할 수 있는 능력에도 불구하고, 경사 하강법이 실질적인 데이터셋에서 왜 잘 일반화되는가?
• RQ2 학습 과정에서 기울기 역학은 어떻게 비슷한 예시들 간의 공통 패턴을 감지하고 이용하는가?
• RQ3 기울기 일관성이 딥 러닝에서 관찰된 편향, 예를 들어 저주수 또는 저복잡도 함수 선호를 설명할 수 있는가?
• RQ4 다양한 아키텍처와 데이터셋 간에 기울기 유사성과 일반화 성능 간의 상관관계는 어느 정도인가?
• RQ5 기울기 일관성에 기반한 수정된 최적화 알고리즘이 일반화를 향상시키고 이론적 보장을 제공할 수 있는가?

주요 결과

• 일관된 기울기 가설은 기울기 업데이트가 동시에 여러 유사한 예시의 성능 향상에 기여하는 방향으로 편향됨을 보여줌으로써 일반화를 설명한다.
• 편미분 실험과 히우리스틱 추론은 기울기 일관성이 데이터 구조에서 자연스럽게 유도되며, 모델 아키텍처의 산물이 아니라는 주장을 뒷받침한다.
• 가설에 기반한 수정인 윈저라이즈드 SGD는 극단적인 개별 예시 기울기를 제한함으로써 과적합을 크게 줄이며, 일반화 성능을 향상시킨다.
• 이 메커니즘은 일반화가 유도 편향이나 아키텍처에만 기인하는 것이 아니라, 유사한 데이터 포인트들 간의 기울기 누적 동역학에서 유도된다는 것을 암시한다.
• 안정성 기반 분석은 비어 있지 않은 일반화 경계가 데이터 특화 기울기 행동에 의존해야 한다고 보여주며, 데이터 구조를 忽시하는 경계는 본질적으로 비어 있다.
• 가설은 료티리어 티켓 가설이나 저복잡도 함수 선호와 같은 다양한 경험적 관찰을 통합적으로 이해할 수 있는 통합적 시각을 제공한다.