[논문 리뷰] Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications

Deren Lei, Zichen Sun외 2명|arXiv (Cornell University)|2018. 11. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 7

한 줄 요약

이 논문은 자연어 처리(NLP) 분야의 과도하게 파rameter화된 딥 러닝 모델에서 확률적 경사 하강법(SGD)의 암묵적 정규화 효과를 조사한다. 다양한 NLP 작업을 대상으로 한 광범위한 실험적 평가를 통해 순수한 SGD가 데이터 부족, 레이블 오염, 또는 다양한 가중치 초기화 조건 하에서도 항상 일반화 가능한 최소값으로 수렴함을 입증한다. 이는 미니배치 SGD보다 우월하며 드롭아웃과 같은 명시적 정규화와도 공존한다. 핵심 발견은 SGD의 암묵적 인도적 편향이 강건하고 본질적인 성질을 지지며, 명시적 정규화 없이도 일반화 성능 향상을 위한 실용적인 길을 제공한다는 것이다.

ABSTRACT

Deep neural networks with remarkably strong generalization performances are usually over-parameterized. Despite explicit regularization strategies are used for practitioners to avoid over-fitting, the impacts are often small. Some theoretical studies have analyzed the implicit regularization effect of stochastic gradient descent (SGD) on simple machine learning models with certain assumptions. However, how it behaves practically in state-of-the-art models and real-world datasets is still unknown. To bridge this gap, we study the role of SGD implicit regularization in deep learning systems. We show pure SGD tends to converge to minimas that have better generalization performances in multiple natural language processing (NLP) tasks. This phenomenon coexists with dropout, an explicit regularizer. In addition, neural network's finite learning capability does not impact the intrinsic nature of SGD's implicit regularization effect. Specifically, under limited training samples or with certain corrupted labels, the implicit regularization effect remains strong. We further analyze the stability by varying the weight initialization range. We corroborate these experimental findings with a decision boundary visualization using a 3-layer neural network for interpretation. Altogether, our work enables a deepened understanding on how implicit regularization affects the deep learning model and sheds light on the future study of the over-parameterized model's generalization ability.

연구 동기 및 목표

• 확률적 경사 하강법(SGD)이 자연어 처리(NLP) 작업을 위한 실제적인 과도하게 파rameter화된 딥 러닝 모델에서 암묵적 정규화를 보이는지 조사하는 것.
• 드롭아웃과 같은 명시적 정규화 기법과의 상호작용을 통해 SGD의 암묵적 정규화가 어떻게 영향을 받는지 평가하는 것.
• 제한된 훈련 데이터나 오염된 레이블과 같은 도전적인 데이터 조건 하에서 SGD의 암묵적 정규화가 얼마나 안정적인지 평가하는 것.
• 가중치 초기화 범위가 딥 네트워크에서 SGD로 훈련할 때 암묵적 정규화의 강도에 어떤 영향을 미치는지 분석하는 것.
• 최적화 동역학과 결정 경계 분석을 통해 과도하게 파rameter화된 모델의 일반화 행동에 대한 경험적 통찰을 제공하는 것.

제안 방법

• 텍스트 분류 및 언어 모델링을 포함한 다양한 NLP 작업에서 순수한 SGD(batch size = 1)와 미니배치 SGD의 실험적 평가.
• 데이터 크기, 레이블 오염 수준(0.1에서 0.3까지), 가중치 초기화 범위를 체계적으로 변형하여 암묵적 정규화에 미치는 영향을 분리 분석.
• 3층 피드포워드 네트워크에서 결정 경계 시각화를 통해 모델 행동과 수렴 패턴을 해석.
• 다양한 배치 크기와 초기화 방법 간의 일반화 성능 비교를 통해 암묵적 정규화 효과를 고립시키기 위한 통제 실험.
• 드롭아웃과 SGD의 상호작용 평가를 위해 다양한 배치 크기와 레이블 노이즈 조건 하에서 일반화 성능 측정.
• 오염 수준과 초기화 범위에 따른 테스트 정확도 및 수렴 행동의 정량적 분석을 통해 암묵적 정규화의 강건성 평가.

실험 결과

연구 질문

• RQ1 딥 러닝 시스템에서 NLP에 대해 SGD의 암묵적 정규화가 존재하는가? 그리고 이를 최신 모델에 어떻게 활용할 수 있는가?
• RQ2 드롭아웃과 같은 명시적 정규화가 존재할 경우, SGD의 암묵적 정규화의 강도와 관측 가능성은 어떻게 영향을 받는가?
• RQ3 작은 훈련 데이터나 높은 레이블 노이즈로 인해 모델 용량이 제한될 경우, SGD의 암묵적 정규화는 얼마나 강건한가?
• RQ4 가중치 초기화 범위는 SGD로 훈련된 딥 네트워크에서 암묵적 정규화의 강도에 어떤 영향을 미치는가?
• RQ5 오염된 레이블로 훈련할 경우 암묵적 정규화가 유지되는가? 이는 과도하게 파rameter화된 모델의 일반화에 어떤 함의를 지닌다?

주요 결과

• 순수한 SGD는 큰 배치 크기 조건에서도 미니배치 SGD보다 더 우수한 일반화 성능를 보이는 최소값으로 일관되게 수렴한다.
• 드롭아웃을 적용한 상황에서도 SGD의 암묵적 정규화 효과가 유지됨을 확인하여, 드롭아웃이 SGD의 인도적 편향을 완전히 대체하거나 제거하지는 않음을 시사한다.
• 훈련 데이터 크기를 10%로 줄여도 일반화 성능 저하가 서서히 발생하며, 모든 테스트 데이터 스케일에서 암묵적 정규화 효과가 관찰된다.
• 레이블 오염(최대 30% 노이즈) 조건 하에서도 암묵적 정규화 효과는 가장 높은 오염 수준(0.3)에서만 약화되며, 중간 수준의 노이즈에 대해서는 강건함을 보인다.
• 가중치 초기화 범위가 작은 모델일수록 더 강한 암묵적 정규화를 보이지만, 모든 범위에서 단조 감소하는 관계는 아니다.
• 적절한 초기화를 통해 약간 더 큰 배치 크기(예: 5)를 사용하면 암묵적 정규화를 유지하면서도 훈련 속도를 크게 향상시킬 수 있어 실용적인 성능-속도 트레이드오프를 제공한다.