[논문 리뷰] Learning with incremental iterative regularization

Lorenzo Rosasco, Silvia Villa|arXiv (Cornell University)|2014. 04. 30.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 15

한 줄 요약

이 논문은 온라인 경사 방법을 사용한 최소 제곱 학습에서 반복적 반복 정규화를 제안하며, 데이터를 통과하는 횟수(에포크 수)가 정규화 매개변수로 작용한다. 이는 위험의 거의 확실 수렴을 확립하고, 유한 표본에 대한 날카운 경계를 제공하며, 명시적 펜alties 없이도 Tikhonov 정규화 성능을 달성하는 조기 정지 기반의 보편적 일致성을 입증한다.

ABSTRACT

Within a statistical learning setting, we propose and study an iterative regularization algorithm for least squares defined by an incremental gradient method. In particular, we show that, if all other parameters are fixed a priori, the number of passes over the data (epochs) acts as a regularization parameter, and prove strong universal consistency, i.e. almost sure convergence of the risk, as well as sharp finite sample bounds for the iterates. Our results are a step towards understanding the effect of multiple epochs in stochastic gradient techniques in machine learning and rely on integrating statistical and optimization results.

연구 동기 및 목표

• 온라인/스토하스틱 경사 학습 알고리즘에서 조기 정지의 일반화 성질을 이론적으로 이해하는 것.
• 데이터를 통과하는 횟수(에포크 수)가 명시적 페널티 없이도 정규화 매개변수로 작용하는 방식을 분석하는 것.
• Tikhonov 정규화와 동일한 수준의 유한 표본 경계를 초과 위험 및 반복값에 대해 유도하는 것.
• 용량 독립적이고 차원에 영향을 받지 않는 설정에서 강력한 보편적 일치성(위험의 거의 확실 수렴)을 확립하는 것.
• 통계학적 이론과 최적화 이론을 융합하여 증가 정규화를 갖는 온라인 학습을 분석하는 데 기여하는 것.

제안 방법

• 알고리즘은 여러 에포크에 걸쳐 데이터 포인트를 순차적으로 처리하면서 각 단계에서 해를 갱신하는 증가 경사 방법을 사용한다.
• 정규화는 유일한 자유 매개변수인 에포크 수를 통한 조기 정지에 의해 암묵적으로 달성된다.
• 이론적 분석은 커널과 목표 함수의 정규성에 대한 가정을 바탕으로 통계학적 학습 이론과 최적화 수렴 결과를 융합한다.
• 유한 표본 경계는 농도 부등식과 연산자 노름 추정을 사용하여 도출되며, 반복값이 진짜 해에서 얼마나 떨어져 있는지에 대한 고확률 경계를 제공한다.
• 분석은 커널 적분 연산자의 고유값 감쇠와 재생 핵 힐베르트 공간에서 목표 함수의 부드러움에 대한 가정에 의존한다.
• 초과 위험의 상한선을 최소화하는 방식으로 정지 규칙이 도출되어 표본 크기의 함수로서 최적의 에포크 수를 도출한다.

실험 결과

연구 질문

• RQ1 증가 온라인 학습 알고리즘에서 에포크 수가 효과적인 정규화 매개변수로 작용할 수 있는가?
• RQ2 이러한 설정에서 조기 정지는 보편적 일치성(위험의 거의 확실 수렴)을 이끌어내는가?
• RQ3 이 정규화 체계 하에서 초과 위험 및 반복값에 대해 날카운 유한 표본 경계를 도출할 수 있는가?
• RQ4 수렴 속도 측면에서 증가 반복 정규화의 성능은 전통적인 Tikhonov 정규화와 어떻게 비교되는가?
• RQ5 초과 위험 경계를 최소화하는 데 있어 최적의 정지 규칙(에포크 수 기준)은 무엇인가?

주요 결과

• 에포크 수가 정규화 매개변수로 작용하며, 조기 정지는 위험의 거의 확실 수렴을 보장한다.
• 반복값에 대한 유한 표본 경계가 유도되었고, 동일한 설정에서 Tikhonov 정규화의 최고 수준의 속도와 일치함을 입증한다.
• 실현 가능한 경우 최적의 정지 규칙은 t*(n) = ⌈n^{1/(2r+1)}⌉이며, 이에 따라 반복 오차의 수렴 속도는 O(n^{-(1/2-r)/(2r+1)})가 된다.
• 초과 위험의 경우 비실현 가능한 경우 최적의 정지 규칙은 t*(n) = ⌈n^{1/3}⌉이며, 이에 따라 수렴 속도는 O(n^{-2r/3})가 된다.
• 분석은 용량 독립적이고 차원에 영향을 받지 않으며, 단지 부드러움과 고유값 감쇠 가정에 의존한다.
• 결과는 스토하스틱 경사 방법에서의 다중 통과(에포크)가 정규화의 엄밀한 이론적 근거를 지닌다는 것을 확인하며, 널리 사용되는 히우리스틱에 대한 이론적 기반을 제공한다.