[논문 리뷰] Convergence of Unregularized Online Learning Algorithms

Yunwen Lei, Lei Shi외 1명|arXiv (Cornell University)|2017. 08. 09.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 정규화 없이 재생 커널 힐버트 공간(RKHSs)에서 비정규화된 온라인 경사 하강법의 고확률 수렴 속도를 확립한다. 반복값의 유계성 가정 없이도 성립한다. 일반적인 볼록 설정에서 마지막 반복값에 대한 최초의 명시적 고확률 수렴 속도를 제시하며, RKHS에서의 한 단계 진전 측정법을 활용한 새로운 마팅게일 분산 취소 기법과 일반화 오차를 사용한다.

ABSTRACT

In this paper we study the convergence of online gradient descent algorithms in reproducing kernel Hilbert spaces (RKHSs) without regularization. We establish a sufficient condition and a necessary condition for the convergence of excess generalization errors in expectation. A sufficient condition for the almost sure convergence is also given. With high probability, we provide explicit convergence rates of the excess generalization errors for both averaged iterates and the last iterate, which in turn also imply convergence rates with probability one. To our best knowledge, this is the first high-probability convergence rate for the last iterate of online gradient descent algorithms without strong convexity. Without any boundedness assumptions on iterates, our results are derived by a novel use of two measures of the algorithm's one-step progress, respectively by generalization errors and by distances in RKHSs, where the variances of the involved martingales are cancelled out by the descent property of the algorithm.

연구 동기 및 목표

• 비정규화 설정에서 온라인 경사 하강법에 대한 고확률 수렴 보장의 부족을 해결한다.
• 반복값의 유계성 가정에 의존하는 것, 이는 종종 실무에서 위반되기 때문이다.
• 평균 반복값과 마지막 반복값 모두에 대해 거의 확실 수렴과 고확률 수렴 속도를 제공한다.
• 강한 볼록성 또는 정규화가 필요 없이 수렴 결과를 확립한다.
• 마팅게일 및 RKHS 기반 분석을 통해 확률 1로 명시적인 수렴 속도를 유도한다.

제안 방법

• 수렴 분석을 위해 한 단계 알고리즘 진전의 두 가지 측정법인 일반화 오차와 RKHS 거리 도입.
• 도브의 마팅게일 수렴 정리와 보렐-칸텔리 보조정리를 사용하여 거의 확실 수렴을 확립.
• 알고리즘의 내림막 특성을 활용하여 마팅게일 차이의 새로운 분산 취소 기법 적용.
• 반복값의 노름에 대한 로그 성장 조건 하에서 농도 불등식을 사용해 고확률 경계 도출.
• 손실 함수의 홀더-스무쓰니스와 커널의 유계성에 기반한 자기유도적 추론을 통해 반복값 제어.
• RKHS의 구조와 재생 성질을 활용하여 반복값의 노름과 경사 업데이트의 노름을 유계화.

실험 결과

연구 질문

• RQ1 비정규화된 온라인 경사 하강법에서 초과 일반화 오차의 기대값 수렴을 보장하는 스텝 사이즈 조건은 무엇인가?
• RQ2 정규화 없이도 유계성 가정 없이 온라인 경사 하강법에 대해 거의 확실 수렴을 확립할 수 있는가?
• RQ3 강한 볼록성이 없는 조건에서 마지막 반복값의 고확률 수렴 속도는 무엇인가?
• RQ4 정규화 없이도 온라인 학습에서 마팅게일 차이의 분산을 어떻게 취소할 수 있는가?
• RQ5 최소한의 가정 하에서 평균 반복값과 마지막 반복값 모두에 대해 명시적인 수렴 속도를 도출할 수 있는가?

주요 결과

• 논문은 초과 일반화 오차 기대값 수렴을 위한 스텝 사이즈에 대한 필요 및 충분 조건을 확립한다.
• 정규화 없이 일반 볼록 설정에서 온라인 경사 하강법의 마지막 반복값에 대한 최초의 고확률 수렴 속도를 제공한다.
• 고확률적으로, 평균 반복값과 마지막 반복값의 초과 일반화 오차는 $ O\left(\frac{\log^{3/2}(T/\delta)}{\sqrt{T}}\right) $ 의 속도로 감소하며, 이는 확률 1로 수렴을 의미한다.
• 정규화 또는 유계성 가정 없이도 반복값이 고확률적으로 유계로 유지된다.
• 마팅게일 차이에서 새로운 분산 취소 메커니즘을 사용함으로써 정규화 및 유계성 제약을 피하는 분석을 수행한다.
• 손실의 홀더-스무쓰니스와 커널의 유계성 외에 최소한의 가정 하에서 수렴 속도를 도출한다.