[논문 리뷰] Iterative Regularization for Learning with Convex Loss Functions

Junhong Lin, Lorenzo Rosasco외 1명|arXiv (Cornell University)|2015. 03. 31.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 14

한 줄 요약

이 논문은 볼록 손실 함수를 갖는 지도 학습을 위한 새로운 반복적 정규화 방법을 제안하며, 하위기울기 방법의 조기 정지(early stopping)를 통해 명시적 정규화 없이 일반화를 달성한다. 유한 표본 기반 초과 위험에 대한 경계를 수립하여, 마지막 반복값이 평균화된 또는 최적의 반복값과 동일한 성능을 보임을 보이며, 비최소 제곱 설정에서의 조기 정지에 대한 이론적 기반을 제공한다.

ABSTRACT

We consider the problem of supervised learning with convex loss functions and propose a new form of iterative regularization based on the subgradient method. Unlike other regularization approaches, in iterative regularization no constraint or penalization is considered, and generalization is achieved by (early) stopping an empirical iteration. We consider a nonparametric setting, in the framework of reproducing kernel Hilbert spaces, and prove finite sample bounds on the excess risk under general regularity conditions. Our study provides a new class of efficient regularized learning algorithms and gives insights on the interplay between statistics and optimization in machine learning.

연구 동기 및 목표

• 볼록 손실 함수를 갖는 학습을 위한 최적화와 통계적 학습을 통합하는 새로운 정규화 프레임워크를 개발하기 위해.
• 명시적 페널티나 제약 조건 없이 반복적 정규화의 일반화 성질을 분석하기 위해.
• 재생 힐버트 공간을 사용하여 비모수 설정에서 초과 위험에 대한 유한 표본 경계를 수립하기 위해.
• 하위기울기 방법의 마지막 반복값이 평균화된 반복값 또는 최적 반복값과 동일한 수렴 속도를 달성하는지 보여주기 위해.
• 학습 알고리즘 분석에서 통계적 및 최적화적 관점을 통합하기 위해.

제안 방법

• 손실 함수의 하위기울기를 기반으로 한 경험 위험에 대해 하위기울기 하강 알고리즘을 적용한다.
• 정규화는 페널티 항이 아닌 반복 과정의 조기 정지로 달성된다.
• 알고리즘은 비모수 함수 추정이 가능한 재생 힐버트 공간(RKHS)에서 작동한다.
• 세 항으로 구성된 오차 분해를 사용한다: 계산 오차(최적화에서 기인), 표본 오차(유한한 데이터에서 기인), 근사 오차(모델 클래스에서 기인).
• 초과 위험에 대한 경계를 도출하기 위해 볼록 해석학과 경험 과정 이론을 통합한 이론적 분석을 수행한다.
• 최적 수렴 속도를 확보하기 위해 이론적 유도에 기반해 스텝 사이즈와 정지 기준을 선택한다.

실험 결과

연구 질문

• RQ1 하위기울기 방법의 조기 정지는 일반 볼록 손실 함수에 대해 유효한 정규화 전략이 될 수 있는가?
• RQ2 반복적 정규화에서 계산 오차, 통계 오차, 근사 오차는 초과 위험에 어떻게 기여하는가?
• RQ3 하위기울기 방법의 마지막 반복값은 수열 내 평균화된 반복값 또는 최적 반복값과 동일한 일반화 성능을 달성하는가?
• RQ4 유한 표본에서 볼록 손실을 갖는 반복적 정규화의 수렴 속도는 무엇이며, 문제의 매개변수에 어떻게 의존하는가?
• RQ5 제안된 방법은 미분 가능한 손실 함수로 확장될 수 있으며, 그 경우 수렴 속도는 어떻게 되는가?

주요 결과

• 기존 하위기울기 방법 분석과는 달리, 하위기울기 방법의 마지막 반복값이 평균화된 반복값과 동일한 수렴 속도를 달성한다.
• 유한 표본 초과 위험 경계가 $ m^{-\beta\tilde{\theta}\gamma} \log(2/\delta) $ 의 순서로 수립되었으며, 이때 $ \gamma $ 는 매끄러움도 및 근사 매개변수에 따라 달라진다.
• 허프만 손실의 경우 초과 위험 수렴 속도가 $ m^{-\alpha} $ 로서 $ \alpha = \frac{1}{2+1/\beta} $ 이며, 이는 알려진 최적 수렴 속도와 일치한다.
• 학습률은 목표 함수의 매끄러움도($ \beta $), 손실 함수의 성질($ q, \theta $), 데이터 분포($ \tau $) 간의 상호작용에 따라 결정된다.
• 이론적 프레임워크는 최적화와 통계 기여를 분리하는 통합된 오차 분해를 제공하여 반복 학습 알고리즘의 깊이 있는 분석을 가능하게 한다.
• 결과적으로, 최소 제곱 이외의 일반 볼록 손실에 대해서도 조기 정지가 원리적인 정규화 방법임을 검증하며, 이론적 근거를 일반화한다.