[논문 리뷰] Nonparametric Compositional Stochastic Optimization

Amrit Singh Bedi, Alec Koppel외 1명|arXiv (Cornell University)|2019. 02. 15.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 9

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 비모수적 조합 최적화를 위한 메모리 효율적인 확률적 알고리즘인 COLK를 제안한다. 이는 위험 인식 학습과 연속 공간 마르코프 결정 과정을 다루며, 두 가지 시간 척도의 확률적 근사와 탐욕적 부분공간 투영을 사용하여 조합 기대값을 처리한다. 감쇠 단계 크기를 사용할 경우 거의 확실 수렴을 달성하고, 일정 단계 크기를 사용할 경우 평균에서 선형 수렴을 보이며, 유한한 복잡도를 보장한다.

ABSTRACT

In this work, we address optimization problems where the objective function is a nonlinear function of an expected value, i.e., compositional stochastic {strongly convex programs}. We consider the case where the decision variable is not vector-valued but instead belongs to a reproducing Kernel Hilbert Space (RKHS), motivated by risk-aware formulations of supervised learning and Markov Decision Processes defined over continuous spaces. We develop the first memory-efficient stochastic algorithm for this setting, which we call Compositional Online Learning with Kernels (COLK). COLK, at its core a two-time-scale stochastic approximation method, addresses the fact that (i) compositions of expected value problems cannot be addressed by classical stochastic gradient due to the presence of the inner expectation; and (ii) the RKHS-induced parameterization has complexity which is proportional to the iteration index which is mitigated through greedily constructed subspace projections. We establish almost sure convergence of COLK with attenuating step-sizes, and linear convergence in mean to a neighborhood with constant step-sizes, as well as the fact that its complexity is at-worst finite. The experiments with robust formulations of supervised learning demonstrate that COLK reliably converges, attains consistent performance across training runs, and thus overcomes overfitting.

연구 동기 및 목표

• 연속 공간에서 기대값의 비선형 함수인 목적이 되는 조합 확률 최적화 문제를 해결하기 위해.
• 재생 커널 힐버트 공간(RKHS)에서 결정 변수를 위한 메모리 효율적인 알고리즘을 개발하여, 커널 방법에서 흔히 발생하는 복잡도 급증을 방지하기 위해.
• 기존의 확률적 경사 하강 방법이 기대값의 조합을 다루는 데에 한계를 보일 때 이를 극복하기 위해.
• 비모수적이고 위험 인식 학습 설정에서 수렴성과 유한한 계산 복잡도를 보장하기 위해.
• 연속 공간에서의 지도 학습과 마르코프 결정 과정에 대한 견고한 최적화 프레임워크를 제공하기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS)에서 조합 목적으로 특화된 두 가지 시간 척도의 확률적 근사 알고리즘인 조합 온라인 학습과 커널(COLK)을 제안한다.
• 반복 횟수에 따른 RKHS 매개변수화의 성장을 제한함으로써 복잡도를 유지하기 위해 탐욕적 부분공간 투영을 사용한다.
• 거의 확실 수렴을 달성하기 위해 감쇠 단계 크기를 사용하고, 일정 단계 크기를 사용하여 최적 해의 이웃으로 평균에서 선형 수렴을 보장한다.
• 조합 문제의 내부 기대값을 처리하기 위해 기대값 추정과 외부 비선형 함수를 분리한다.
• 커널 기반 함수 표현과 확률적 근사를 통합하여 연속 영역에서의 비모수적 모델링을 가능하게 한다.
• RKHS의 구조를 활용하여 복잡한 비선형 결정 함수를 표현하면서도, 투영을 통해 메모리 사용량을 통제한다.

실험 결과

연구 질문

• RQ1 재생 커널 힐버트 공간(RKHS)에서 조합 확률 최적화를 위한 메모리 효율적인 확률적 알고리즘을 개발할 수 있는가?
• RQ2 기존의 확률적 경사 하강 방법이 실패할 경우, 기대값의 조합 구조는 어떻게 다룰 수 있는가?
• RQ3 비모수적이고 커널 기반 매개변수화 하에서 이러한 알고리즘에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ4 유한한 복잡도를 유지하면서도 위험 인식 학습 과제에서 신뢰할 수 있는 수렴성을 확보할 수 있는가?
• RQ5 기본적인 방법들과 비교했을 때 실용적으로 알고리즘이 견고성과 일반화 성능 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 감쇠 단계 크기를 사용할 경우 COLK는 거의 확실 수렴을 달성하여 최적 해로 거의 확실하게 수렴한다.
• 일정 단계 크기를 사용할 경우 COLK는 최적 해의 이웃으로 평균에서 선형 수렴을 보인다.
• 탐욕적 부분공간 투영 덕분에 최악의 경우 유한한 계산 복잡도를 유지하여 무한한 성장 방지를 보장한다.
• 실험 결과, COLK는 학습 런 간에 안정적으로 수렴하고, 견고한 지도 학습 설정에서 과적합을 완화함을 보였다.
• 여러 런에 걸쳐 일관된 성능을 보이며, 초기화에 대한 민감도가 낮고 안정성을 보였다.
• RKHS 기반 함수 표현을 활용하여 연속 공간에서의 위험 인식 학습 목표를 효과적으로 다룰 수 있었다.