[논문 리뷰] Second-Order Kernel Online Convex Optimization with Adaptive Sketching

Daniele Calandriello, Alessandro Lazaric외 1명|arXiv (Cornell University)|2017. 06. 15.

Stochastic Gradient Optimization Techniques인용 수 23

한 줄 요약

이 논문은 효과적인 차원 수 $d_{\text{eff}}$와 시간 $T$에 대해 로그 스케일링인 $Ó(d_{\text{eff}}\log T)$의 손실을 달성하면서도 적응형 행렬 스케칭을 통해 계산 비용을 줄이는 두 번째 차수의 커널 온라인 볼록 최적화 방법인 커널 온라인 뉴턴 스텝(KONS)을 소개한다. 제안된 스케치드-KONS 방법은 시간과 공간 복잡도를 $\gamma^2$만큼 줄이며 손실에 $1/\gamma$ 요인의 증가만을 초래함으로써 커널 공간 내에서 효율적이고 낮은 손실을 가진 온라인 학습을 가능하게 한다.

ABSTRACT

Kernel online convex optimization (KOCO) is a framework combining the expressiveness of non-parametric kernel models with the regret guarantees of online learning. First-order KOCO methods such as functional gradient descent require only $\mathcal{O}(t)$ time and space per iteration, and, when the only information on the losses is their convexity, achieve a minimax optimal $\mathcal{O}(\sqrt{T})$ regret. Nonetheless, many common losses in kernel problems, such as squared loss, logistic loss, and squared hinge loss posses stronger curvature that can be exploited. In this case, second-order KOCO methods achieve $\mathcal{O}(\log( ext{Det}(\boldsymbol{K})))$ regret, which we show scales as $\mathcal{O}(d_{ ext{eff}}\log T)$, where $d_{ ext{eff}}$ is the effective dimension of the problem and is usually much smaller than $\mathcal{O}(\sqrt{T})$. The main drawback of second-order methods is their much higher $\mathcal{O}(t^2)$ space and time complexity. In this paper, we introduce kernel online Newton step (KONS), a new second-order KOCO method that also achieves $\mathcal{O}(d_{ ext{eff}}\log T)$ regret. To address the computational complexity of second-order methods, we introduce a new matrix sketching algorithm for the kernel matrix $\boldsymbol{K}_t$, and show that for a chosen parameter $γ\leq 1$ our Sketched-KONS reduces the space and time complexity by a factor of $γ^2$ to $\mathcal{O}(t^2γ^2)$ space and time per iteration, while incurring only $1/γ$ times more regret.

연구 동기 및 목표

• 각 반복에서 시간과 공간 복잡도가 $\mathcal{O}(t^2)$로 증가하는 두 번째 차수의 커널 온라인 볼록 최적화(KOCO) 방법의 높은 계산 비용을 해결하기 위해.
• 손실의 두 번째 차수 곡률 정보를 활용하여 KOCO에서 $\mathcal{O}(d_{\text{eff}}\log T)$의 로그 스케일링 손실을 달성함으로써, 첫 번째 차수 방법에서 잘 활용되지 않는 정보를 효과적으로 활용하기 위해.
• 두 번째 차수 KOCO의 복잡도를 감소시키면서도 손실 성능을 훼손하지 않는 스케칭 기반 접근법을 개발하기 위해, 특히 낮은 효과적 차원을 가진 문제에 대해.
• 기존의 딕셔너리 기반 스케칭 방법의 한계를 극복하기 위해, 이는 온라인 환경에서 손실을 최소화하고 공간을 통제하며 가중치 감쇠를 피하는 데 있어 상충되는 목표로 인해 로그 스케일링 손실을 달성하지 못하기 때문이다.

제안 방법

• 손실의 헤시안을 사용하여 모델을 적응적으로 업데이트하는 두 번째 차수 KOCO 알고리즘인 커널 온라인 뉴턴 스텝(KONS)을 제안하며, 이로써 $\mathcal{O}(d_{\text{eff}}\log T)$의 손실을 달성한다.
• 커널 행렬 $\mathbf{K}_t$에 대한 새로운 적응형 행렬 스케칭 알고리즘을 도입하여, 매개변수 $\gamma \leq 1$에 대해 시간과 공간 복잡도를 $\gamma^2$만큼 감소시킨다.
• KONS의 헤시안 근사에 스케칭을 적용함으로써, 원래의 두 번째 차수 방법에 비해 손실이 $1/\gamma$ 요인 이내로 유지되도록 한다.
• 커널 행렬의 저랭크 근사를 동적으로 유지하는 스케칭 전략을 사용하여 효율적인 업데이트와 저장을 가능하게 한다.
• 손실을 $R_G$ (기울기 기반) 와 $R_D$ (최적값과의 차이)로 분해하여, 적응형 스케칭이 둘 다 효과적으로 제어함을 보여준다.
• 딕셔너리 기반 스케칭이 온라인 환경에서 실패하는 이유는, 손실 최소화, 공간 통제, 가중치 감쇠 방지라는 목표가 상충되기 때문임을 입증한다.

실험 결과

연구 질문

• RQ1 두 번째 차수 KOCO 방법은 계산 효율성을 유지하면서도 커널 공간 내에서 로그 스케일링 손실($\mathcal{O}(d_{\text{eff}}\log T)$)을 달성할 수 있는가?
• RQ2 매트릭스 스케칭은 두 번째 차수 KOCO에 어떻게 적응시켜 시간과 공간 복잡도를 감소시키면서도 손실 증가를 최소화할 수 있는가?
• RQ3 기존의 딕셔너리 기반 스케칭 방법은 배치 설정에서는 성공했지만 온라인 설정에서는 왜 로그 스케일링 손실을 달성하지 못하는가?
• RQ4 적응형 스케칭 전략은 온라인 환경에서 동적 모델 업데이트를 허용하면서도 낮은 손실을 유지할 수 있도록 설계될 수 있는가?

주요 결과

• 제안된 스케치드-KONS 방법은 $\mathcal{O}(d_{\text{eff}}\log T)$의 손실을 달성하며, 이는 전체 KONS의 최적 두 번째 차수 손실 경계와 일치한다. 여기서 $d_{\text{eff}}$는 문제의 효과적 차원이다.
• 매개변수 $\gamma$를 사용한 적응형 스케칭을 적용함으로써, 시간과 공간 복잡도가 각 반복에서 $\mathcal{O}(t^2)$에서 $\mathcal{O}(t^2\gamma^2)$로 감소한다.
• 스케치드-KONS의 손실은 전체 KONS 방법에 비해 최대 $1/\gamma$ 요인만큼 증가하며, 이는 복잡도와 손실 사이의 조절 가능한 트레이드오���을 가능하게 한다.
• 반례를 통해 딕셔너리 기반 스케칭 방법이 온라인 환경에서 손실 최소화, 예산 제약, 가중치 스케줄링 간의 상충 목표로 인해 로그 스케일링 손실을 달성하지 못함을 보여준다.
• 분석 결과, 두 번째 차수 방법이 첫 번째 차수 방법보다 곡률을 더 효과적으로 활용하여, 손실이 강하게 볼록할 경우 손실을 $\mathcal{O}(\sqrt{T})$에서 $\mathcal{O}(d_{\text{eff}}\log T)$로 감소시킴을 확인한다.
• 이 방법은 고정된 딕셔너리 접근 방식과는 달리, 적응형 스케칭이 온라인 커널 학습에서 더 높은 적응성과 성능을 제공함을 보여준다.