[논문 리뷰] Generalization Properties and Implicit Regularization for Multiple Passes SGM

Junhong Lin, Raffaello Camoriano외 1명|arXiv (Cornell University)|2016. 05. 26.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 선형으로 파arameter화된 모델을 가진 볼록 손실 함수에 대해 다중패assing 확률적 경사 하강법(SGM)의 일반화 성질을 분석한다. 단계 크기와 반복 횟수 모두 명시적 펜alties 없이 편향-분산 트레이드오프를 조절하는 암묵적 정규화 매개변수로 작용하며, 근사 오차 가정 하에 최적 수렴 속도를 도출하고 실제 데이터셋을 이용한 수치 실험으로 검증한다.

ABSTRACT

We study the generalization properties of stochastic gradient methods for learning with convex loss functions and linearly parameterized functions. We show that, in the absence of penalizations or constraints, the stability and approximation properties of the algorithm can be controlled by tuning either the step-size or the number of passes over the data. In this view, these parameters can be seen to control a form of implicit regularization. Numerical results complement the theoretical findings.

연구 동기 및 목표

• 명시적 정규화 없이 다중패assing 확률적 경사 하강법(SGM)의 일반화 행동을 이론적으로 이해하는 것.
• 단계 크기와 데이터에 대한 반복 횟수가 볼록 손실 함수에 대해 SGM에서 암묵적 정규화 메커니즘으로 작용하는 방식을 조사하는 것.
• 근사 오차 가정 하에 SGM의 최적 수렴 속도를 확립하여 이전의 최소 제곱 결과를 일반 볼록 손실 함수로 확장하는 것.
• 실제 응용에서 흔히 쓰이는 히우리스틱인 조기 정지와 단계 크기 조정의 이론적 기반을 제공하는 것.
• 실세계 데이터셋을 이용한 수치 실험으로 이론적 결과를 검증하는 것.

제안 방법

• 선형으로 파arameter화된 함수와 볼록 손실 함수를 가진 비모수적 설정에서 SGM을 분석한다.
• 안정성 기반 접근을 사용하여 일반화 경계를 유도하며, 알고리즘 안정성과 편향-분산 트레이드오프를 연결한다.
• 근사 오차 가정 하에 수렴 속도를 유도하며, 진짜 함수의 매끄러움으로 매개변수화된다.
• 알고리즘의 두 변형을 도입한다: 조정된 단계 크기와 고정된 단계 크기 + 조기 정지(조정된 반복 횟수)이다.
• 확률적 최적화 및 안정성 이론의 결과를 활용하여 기대 초과 위험을 경계한다.
• 실세계 데이터셋을 이용한 수치 실험으로 이론적 결과를 검증하며, 단계 크기와 반복 횟수의 다양한 설정을 비교한다.

실험 결과

연구 질문

• RQ1 명시적 정규화 없이 SGM의 일반화 성능에 대해 단계 크기와 반복 횟수가 어떻게 영향을 미치는가?
• RQ2 SGM에서 편향-분산 트레이드오프는 단계 크기 또는 반복 횟수를 조정함으로써 제어될 수 있으며, 그로 인한 수렴 속도는 어떠한가?
• RQ3 근사 오차가 SGM의 최적 단계 크기와 반복 횟수 선택에 미치는 역할은 무엇인가?
• RQ4 동일한 가정 하에 한 번만 패assing하는 SGM과 다중패assing SGM 변형 간 이론적 수렴 속도는 어떻게 비교되는가?
• RQ5 수치 실험은 SGM에서 암묵적 정규화에 대한 이론적 예측을 어느 정도 확인하는가?

주요 결과

• SGM에서 단계 크기와 반복 횟수는 명시적 페널티 없이도 암묵적 정규화 매개변수로 작용하며, 편향-분산 트레이드오프를 조절한다.
• 다중패assing SGM의 경우, 고정된 단계 크기와 함께 조기 정지를 사용하면(조정된 반복 횟수), 한 번 패assing SGM에서 조정된 단계 크기를 사용한 경우와 동일한 최적 수렴 속도를 달성한다.
• 이론적 경계에 따르면, 고정된 단계 크기와 조기 정지의 경우 기대 초과 위험은 O(1/√m)로 감소하며, 반복 횟수에 따라 로그 인자에 의존한다.
• 수렴 속도는 진짜 함수의 매끄러움에 따라 달라지며, β ∈ (0,1]로 매개변수화되며, 더 매끄러운 함수일수록 더 빠른 수렴 속도를 가진다.
• 실세계 데이터셋을 이용한 수치 실험은 단계 크기 조정과 조기 정지 모두가 유사한 일반화 성능을 제공함을 확인하며, 이론적 트레이드오프를 검증한다.
• 이 분석은 이전의 최소 제곱 결과를 일반 볼록 손실 함수로 확장하여, 실무에서 SGM에 대한 더 넓은 이론적 기반을 제공한다.