[논문 리뷰] Stochastic Online Optimization using Kalman Recursion

Joseph de Vilmarest, Olivier Wintenberger|arXiv (Cornell University)|2020. 02. 10.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 5

한 줄 요약

이 논문은 제약 조건이 없는 문제를 위한 매개수 없는 온라인 확률적 최적화 알고리즘을 제안하며, 손실 함수를 음의 로그우도로 간주하는 베이지안 해석을 활용하여 확장 칼만 필터(EKF)를 사용한다. 두 단계 분석을 통해 누적 초과 위험에 대한 고확률 경계를 수립한다: 먼저 최적값 주변의 국소 영역으로의 수렴을 증명하고, 그 다음 일반선형모형에 대해 마팅게일 기반의 위험 경계를 유도한다. 이로써 매 반복당 $O(d^2)$의 비용을 가지며 최적 수렴 속도를 달성한다.

ABSTRACT

We study the Extended Kalman Filter in constant dynamics, offering a bayesian perspective of stochastic optimization. We obtain high probability bounds on the cumulative excess risk in an unconstrained setting. In order to avoid any projection step we propose a two-phase analysis. First, for linear and logistic regressions, we prove that the algorithm enters a local phase where the estimate stays in a small region around the optimum. We provide explicit bounds with high probability on this convergence time. Second, for generalized linear regressions, we provide a martingale analysis of the excess risk in the local phase, improving existing ones in bounded stochastic optimization. The EKF appears as a parameter-free online algorithm with O(d^2) cost per iteration that optimally solves some unconstrained optimization problems.

연구 동기 및 목표

• 투영 단계 없이 제약 조건이 없는 온라인 확률적 설정을 위한 매개수 없는 온라인 최적화 알고리즘을 개발하기 위해.
• 온라인 학습에서 누적 초과 위험에 대한 비점근적이고 고확률 경계를 제공하기 위해.
• EKF를 정규화된 경험적 위험 최소화의 베이지안 온라인 근사로 분석하기 위해.
• 두 단계 이론적 프레임워크를 수립하기 위해: 최적값 주변의 국소 영역으로의 수렴과 그 안에서의 위험 통제.
• 국소 단계에서 마팅게일 분석을 통해 기존의 경계를 개선함으로써 유계 확률적 최적화에서의 성능을 향상시키기 위해.

제안 방법

• 매개수 동역학이 정적인 특수한 상태공간 모델로 최적화 문제를 기술한다.
• 온라인 우도 근사치를 사용하여 매개수 추정치를 순차적으로 업데이트하기 위해 확장 칼만 필터(EKF)를 적용한다.
• 베이지안 시각을 활용: 손실 함수를 음의 로그우도로 간주하고 온라인에서 최대우도 추정치를 근사한다.
• 두 단계 분석을 수행한다: 먼저 진짜 매개수 주변의 작은 구역으로의 거의확실한 수렴을 증명하고, 그 다음 국소 단계에서 위험을 분석한다.
• 마팅게일 농도 부등식을 적용하여 국소 단계에서 누적 초과 위험에 대한 고확률 경계를 도출한다.
• 선형 회귀 및 로지스틱 회귀의 경우 명시적인 수렴 시간 경계를 유도하고, 정교한 상수를 사용하여 일반선형모형으로 확장한다.

실험 결과

연구 질문

• RQ1 EKF는 제약 조건이 없는 설정에서 투영 단계 없이 매개수 없는 온라인 최적화 알고리즘으로 사용될 수 있는가?
• RQ2 EKF의 누적 초과 위험에 대한 고확률 경계는 무엇인가? 온라인 확률적 최적화에서.
• RQ3 선형 회귀 및 로지스틱 회귀에서 EKF는 진짜 매개수 주변의 국소 영역으로 얼마나 빨리 수렴하는가?
• RQ4 EKF는 매개수 공간의 지식이나 투영 단계 없이도 온라인 뉴턴 스텝(ONS)과 비교할 수 있는 최적 수렴 속도를 달성할 수 있는가?
• RQ5 계산 비용과 위험 경계 측면에서 EKF는 기존의 2차 온라인 알고리즘과 비교해 어떻게 성능을 내는가?

주요 결과

• EKF는 매 반복당 $O(d^2)$의 계산 비용을 가지며, 고차원 문제에 대해 효율적이다.
• 선형 회귀 및 로지스틱 회귀의 경우, 알고리즘이 진짜 매개수 주변의 국소 영역으로 $\tau_1(\delta)$ 시간 내에 들어가며, 이 시간은 고확률적으로 $O\left(\frac{D_X^2}{\Lambda_{\text{min}}} (\ln d + \ln \delta^{-1})\right)$로 척도가 조정된다.
• 누적 초과 위험는 고확률적으로 $O\left(\frac{\ln t}{t}\right)$로 경계되며, 평균화된 SGD와 ONS의 최적 속도와 일치한다.
• 평균화된 반복에 대해 $O\left(\frac{\ln t}{t}\right)$의 수렴 속도를 달성하며, 이전 연구에 비해 명시적인 상수를 개선하였다.
• 경계는 모델 잘못 설정에 대해 강건하며, 최적 매개수의 위치나 유계 영역에 대한 사전 지식이 필요하지 않다.
• EKF가 시간에 따라 변화하는 정규화 파rameter를 갖는 릿지 회귀의 온라인 근사와 동일하다는 것이 입증되었으며, 이는 온라인 학습에 대한 베이지안 해석을 제공한다.