[논문 리뷰] Simultaneous Model Selection and Optimization through Parameter-free Stochastic Learning

Francesco Orabona|arXiv (Cornell University)|2014. 06. 15.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 27

한 줄 요약

이 논문은 커널 기반 학습을 위한 초모수 없는 확률적 경사 하강 알고리즘인 PiSTOL을 소개한다. PiSTOL은 하이퍼파ram터 조정이나 교차검증 없이도 동시에 모델 선택과 최적화를 수행한다. 데이터에 따라 적응적으로 스텝 크기를 조정하는 온라인 미러 내림(descents) 원리를 사용하여, 표준 부드러움 가정 하에 무한차원의 재생 커널 힐버트 공간(RKHS)에서 최적 수렴 속도를 달성한다.

ABSTRACT

Stochastic gradient descent algorithms for training linear and kernel predictors are gaining more and more importance, thanks to their scalability. While various methods have been proposed to speed up their convergence, the model selection phase is often ignored. In fact, in theoretical works most of the time assumptions are made, for example, on the prior knowledge of the norm of the optimal solution, while in the practical world validation methods remain the only viable approach. In this paper, we propose a new kernel-based stochastic gradient descent algorithm that performs model selection while training, with no parameters to tune, nor any form of cross-validation. The algorithm builds on recent advancement in online learning theory for unconstrained settings, to estimate over time the right regularization in a data-dependent way. Optimal rates of convergence are proved under standard smoothness assumptions on the target function, using the range space of the fractional integral operator associated with the kernel.

연구 동기 및 목표

• 커널 방법에 대한 확률적 경사 하강에서 오랜 기간 동안 해결되지 않은 모델 선택 문제를 다루며, 최적 성능은 스텝 크기에 매우 민감하지만 사전에 알려져 있지 않은 경우를 고려한다.
• 교차검증이나 최적 해의 노름과 같은 문제 특성에 대한 사전 지식이 필요 없도록 제거한다.
• 이론적으로 탄탄한 초모수 없는 알고리즘을 개발하여, 학습 도중에 정규화를 암묵적으로 조정함으로써 최적의 유한 샘플 수렴 속도를 달성한다.
• 온라인 볼록 최적화(OCO)와 확률적 학습 간 격차를 메우기 위해, 비제약 OCO 도구를 커널 방법과 함께 확률적 설정으로 확장한다.

제안 방법

• 알고리즘은 커널의 분수적 적분 연산자에 기반한 Bregman 발산을 사용하는 온라인 미러 내림(OMD)에서 유도된 데이터 의존적 스텝 크기 스케줄을 사용한다.
• 관측된 기울기 노름과 누적 손실에 기반해 동적으로 학습률을 조정함으로써 암묵적인 정규화를 수행하며, 명시적 하이퍼파ram터 조정이 필요 없다.
• 커널과 관련된 분수적 적분 연산자의 범위 공간을 활용하여, 부드러움 가정 하에 수렴 한계를 도출한다.
• 공격자 설정에서의 새로운 리그레트 분석을 수행하고, 이를 확률적 설정으로 확장하여 유한 샘플 수렴 속도를 유도한다.
• 알고리즘은 표준 SGD와 동일한 계산 복잡도를 유지하므로 스트리밍 데이터에 대해 확장 가능하고 실용적이다.
• 지정된 검증 세트나 그리드 서치가 필요 없이 적응성을 보장하는 지수 기반 경사 방법에 영감을 받은 초모수 없는 업데이트 규칙을 사용한다.

실험 결과

연구 질문

• RQ1 하이퍼파aram터 조정이나 교차검증 없이도 확률적 경사 하강 알고리즘이 학습 도중에 암묵적인 모델 선택을 수행할 수 있는가?
• RQ2 부드러움 가정 하에 무한차원 RKHS에서 커널 기반 학습의 최적 수렴 속도는 무엇인가?
• RQ3 온라인 미러 내림을 어떻게 수정하여 확률적 설정에서 데이터 의존적 정규화를 갖는 초모수 없는 학습을 달성할 수 있는가?
• RQ4 최적 해의 노름이나 기타 내재적 문제 파라미터에 대한 사전 지식 없이도, 오직 훈련 데이터만으로도 최적의 속도를 달성할 수 있는가?

주요 결과

• PiSTOL은 $ H $-부드럽고 $ L $-립시츠 손실 조건 하에서, $ \beta \in (0,1) $ 가 목표 함수의 부드러움을 특성화하는 조건일 때, $ O(T^{-\frac{2\beta}{\beta+1}}) $ 의 수렴 속도를 확률적 설정에서 달성한다.
• 이 알고리즘은 어떤 하이퍼파aram터도 조정이 필요 없으며, 교차검증이나 최적 해의 노름에 대한 사전 지식이 필요 없음을 보여준다.
• 공격자 설정에서의 리그레트 한계는 $ O(T^{-\frac{2\beta}{\beta+1}}) $ 로, 이는 확률적 설정에서 최적의 유한 샘플 수렴을 의미한다.
• 알고리즘은 적응적인 스텝 크기를 통해 암묵적인 정규화를 수행하며, 최적의 정규화가 사전에 알려져 있는 것과 동일한 성능을 달성한다.
• 이론적 분석 결과, 알고리즘의 수렴 속도는 주어진 부드러움 클래스에 대한 최소 최대 하한값(minimax lower bound)과 일치함을 확인하여 최적성의 확인이 이루어졌다.
• 실험 결과, 고차원 및 비 i.i.d. 설정에서 표준 SGD 및 교차검증 기반 방법에 비해 일반화 성능과 훈련 효율성 면에서 PiSTOL이 뛰어난 성능을 보였다.