[논문 리뷰] How neural networks find generalizable solutions: Self-tuned annealing in deep learning

Yu Feng, Yuhai Tu|arXiv (Cornell University)|2020. 01. 06.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 딥러닝에서 확률적 경사하강법(SGD)이 손실 함수의 기하학적 구조에 따라 자동으로 온도를 조절하는, 자가조절적이고 경로 의존적인 냉각 과정을 자연스럽게 구현한다는 점을 밝혀낸다. 이 과정에서 소음 강도(효과적 온도)는 손실 함수의 평탄한 최소값에 접근할수록 감소한다. 저자들은 가중치 분산과 손실 함수의 평탄함 사이에 강력한 역관계가 있음을 규명하여, SGD가 잘 일반화되는 이유를 설명하고 더 효율적인 학습 알고리즘 개발을 가능하게 한다.

ABSTRACT

Despite the tremendous success of Stochastic Gradient Descent (SGD) algorithm in deep learning, little is known about how SGD finds generalizable solutions in the high-dimensional weight space. By analyzing the learning dynamics and loss function landscape, we discover a robust inverse relation between the weight variance and the landscape flatness (inverse of curvature) for all SGD-based learning algorithms. To explain the inverse variance-flatness relation, we develop a random landscape theory, which shows that the SGD noise strength (effective temperature) depends inversely on the landscape flatness. Our study indicates that SGD attains a self-tuned landscape-dependent annealing strategy to find generalizable solutions at the flat minima of the landscape. Finally, we demonstrate how these new theoretical insights lead to more efficient algorithms, e.g., for avoiding catastrophic forgetting.

연구 동기 및 목표

• 이론적 기반에 한계가 있는 고차원 비凸 손실 함수의 기하학적 구조에서 SGD가 왜 일반화 가능한 해를 찾는지 이해한다.
• SGD의 소음과 손실 함수의 기하학적 구조 사이의 동적 상호작용을 조사한다.
• SGD가 딥러닝에서 지능적이고 적응적인 냉각 과정으로 작용하는 이론적 프레임워크를 수립한다.
• 통계역학의 통찰을 활용해, 치명적인 잊힘을 피하는 등의 더 효율적인 학습 알고리즘을 설계한다.

제안 방법

• 시간에 따라 변화하는 소음 항을 갖는 라운제빈 유사 방정식에 의해 지배되는 비평형 확률적 동역계 시스템으로 SGD를 모델링한다.
• 미니배치 손실 함수(MLF) 집합 {L^μ(w)}을 정의하고, 그 변동성을 통해 SGD의 소음을 δL^μ = L^μ - L로 정량화한다.
• 기울기 변동의 상관관계 C_ij(w) = α²⟨(∂δL^μ/∂w_i)(∂δL^μ/∂w_j)⟩_μ로부터 유도된 '활성 온도' 개념을 도입하여 효과적 소음 강도를 측정한다.
• 탐색 단계 동안 가중치 궤적에 주성분 분석(PCA)을 적용하여 저차원 동역학을 추출하고, 소음과 기하학적 구조의 상관관계를 연구한다.
• 랜덤 장 이론을 적용하여 소음 강도(활성 온도)와 국소적 장면의 평탄함(곡률의 역수) 사이의 역관계를 유도한다.
• 다중작업 학습을 위한 수정된 손실 함수(식 15)를 제안하여, 손실 함수의 기하학적 특성에 따라 소음을 조절함으로써 치명적인 잊힘을 완화한다.

실험 결과

연구 질문

• RQ1 SGD는 손실 함수의 기하학적 구조와 관련하여 학습 도중 소음 수준을 어떻게 동적으로 조절하는가?
• RQ2 SGD에서 관측된 가중치 분산과 손실 함수의 평탄함 사이의 역관계의 근본 원인은 무엇인가?
• RQ3 SGD 과정은 냉각의 한 형태로 이해될 수 있으며, 만약 그렇다면 이는 손실 함수의 국소적 및 비국소적 성질에 자동으로 조절되는가?
• RQ4 통계역학의 통찰은 딥 네ural 네트워크의 학습 효율성과 일반화 성능 향상에 어떻게 기여할 수 있는가?
• RQ5 손실 함수의 기하학적 특성에 따라 소음을 조절하는 전략은 지속적 또는 다중작업 학습을 위한 더 나은 알고리즘 설계에 활용될 수 있는가?

주요 결과

• 모든 SGD 기반 학습 알고리즘에서 가중치 분산과 손실 함수의 평탄함(곡률의 역수) 사이에 강력한 역관계가 관찰된다.
• SGD의 효과적 소음 강도(활성 온도)는 손실 함수의 국소적 평탄함에 반비례하며, 이는 자가조절적 냉각 메커니즘이 있음을 시사한다.
• SGD의 소음은 이방성이며 가중치 공간 전반에서 변화하므로, 평형 상태의 시뮬레이티드 냉각과는 다름을 보인다.
• 활성 온도는 시간이 지남에 따라 감소하며, 이는 손실 함수와 상관관계가 있어 평탄한 최소값으로 향하는 냉각 과정임을 나타낸다.
• 랜덤 장 이론을 활용한 이론적 분석은 소음 강도가 손실 함수의 평탄함에 반비례함을 확인하여, SGD가 일반화 가능한 해를 찾는 이유를 설명한다.
• 제안된 다중작업 학습을 위한 손실 함수의 기하학적 특성에 기반한 소음 조절 전략은 치명적인 잊힘을 감소시키고 일반화 성능을 향상시킨다.