[논문 리뷰] Online Convex Optimization with Unconstrained Domains and Losses

Ashok Cutkosky, Kwabena Boahen|arXiv (Cornell University)|2017. 03. 07.

Advanced Bandit Algorithms Research인용 수 11

한 줄 요약

이 논문은 손실 함수의 유계성에 대한 사전 지식이 없이도 비제약 도메인에서 최적의 리그레트를 달성하는 온라인 볼록 최적화 알고리즘인 rescaledexp를 소개한다. 새로 증명된 하한선과 일치하여, 2016년 COLT에서 열려 있던 문제를 해결하며, $ ilde{O}( olink{\|u\|} olink{\log\|u\|}) olink{\sqrt{T}}$ 리그레트를 보이며, $L_{\max}$ 지식이 필요한 이전 방법들을 능가한다.

ABSTRACT

We propose an online convex optimization algorithm (RescaledExp) that achieves optimal regret in the unconstrained setting without prior knowledge of any bounds on the loss functions. We prove a lower bound showing an exponential separation between the regret of existing algorithms that require a known bound on the loss functions and any algorithm that does not require such knowledge. RescaledExp matches this lower bound asymptotically in the number of iterations. RescaledExp is naturally hyperparameter-free and we demonstrate empirically that it matches prior optimization algorithms that require hyperparameter optimization.

연구 동기 및 목표

• 손실 함수의 최대 서브기울기 노름 $L_{\max}$ 의 사전 지식 없이도 비제약 온라인 볼록 최적화에서 최적의 리그레트를 달성하는 문제를 해결하기 위해.
• 모든 알고리즘이 $L_{\max}$ 지식이 없을 경우, $L_{\max}$ 지식이 있는 알고리즘보다 지수적으로 악화된 리그레트를 초래해야 한다는 하한선을 증명하기 위해.
• 이 하한선에 점 渐진적으로 부합하는 알고리즘을 설계하여, 하이퍼파rameter 없이 $\tilde{O}(\|u\|\log\|u\|)\sqrt{T}$ 리그레트를 달성하기 위해.
• 선형 및 신경망 작업 전반에서 튜닝된 알고리즘과의 경쟁력을 실증적으로 검증하기 위해.

제안 방법

• FTRL 기반 알고리즘인 rescaledexp를 제안하여, 기울기 노름의 누적 추정치를 사용해 업데이트를 동적으로 재스케일링하고, 자기 조절 학습률을 적용한다.
• 새로운 적응형 학습률 $\eta_t \propto 1/\sqrt{M_t + \|g_{t_{\star}:t}\|^2}$ 를 사용하며, 여기서 $M_t$ 는 정규화된 기울기 노름 항목의 최대값을 추적한다.
• 비볼록 설정에서는 각 에포크의 시작 시 기준점을 재설정하는 리센터링 메커니즘을 도입하여 성능을 유지한다.
• 희소 기울기의 경우 좌표별 업데이트 전략을 적용하고, 비볼록 모델의 경우 불안정성을 피하기 위해 전체 차원 업데이트를 사용한다.
• 스케일을 재설정하는 조건이 기울기가 현재 범위를 초과할 때만 작동하는 더블링 기법의 변종을 구현하여, 경계 위반으로 인한 실패를 방지한다.
• 모든 알고리즘의 성능을 공정하게 비교하기 위해 데이터셋 간 손실 평균화를 수행하며, 각 알고리즘의 점수는 해당 데이터셋에서의 최적 튜닝 성능 대비 상대적 성능을 기준으로 한다.

실험 결과

연구 질문

• RQ1 온라인 볼록 최적화 알고리즘이 $L_{\max}$ 의 사전 지식 없이도 비제약 설정에서 $\tilde{O}(\|u\|\log\|u\|)\sqrt{T}$ 리그레트를 달성할 수 있는가?
• RQ2 알고리즘이 $L_{\max}$ 를 안다는 지식이 있는지 여부에 따라 리그레트에 지수적 분리가 존재하는가?
• RQ3 하이퍼파rameter가 없는 알고리즘이 실무에서 튜닝된 알고리즘의 성능을 따라할 수 있는가?
• RQ4 좌표별 업데이트 전략이 희소 기울기 문제에서 성능 향상에 기여하는가?
• RQ5 다양한 데이터셋에서 rescaledexp는 Adam 및 AdaGrad와 같은 최첨단 적응형 최적화기와 비교해 손실 평균화 측면에서 어떻게 성능을 내는가?

주요 결과

• 논문은 $L_{\max}$ 지식이 없는 모든 알고리즘이 최소 $\exp\left(\left(\max_t \frac{\|g_t\|}{L(t)}\right)^{1/2 - \epsilon}\right)$ 의 리그레트를 초래해야 한다는 하한선을 증명하며, 이는 이상적인 $\tilde{O}(\|u\|\sqrt{\log\|u\|})\sqrt{T}$ 하한선이 불가능함을 규명한다.
• rescaledexp 는 이 하한선에 점 渐진적으로 부합하여, $L_{\max}$ 가 필요 없이 $\tilde{O}(\|u\|\log\|u\|)\sqrt{T}$ 리그레트를 달성한다.
• 실증 결과에 따르면, rescaledexp 는 데이터셋 평균 정규화 손실 1.19를 기록하여 AdaDelta(1.21) 와 Adam(1.51) 을 능가하고, 튜닝 후 AdaGrad(1.14) 와 거의 동일한 성능을 보였다.
• 신경망 작업에서는 비볼록성과 일관되지 않은 재설정으로 인해 좌표별 업데이트에서 성능이 열악했지만, 전체 차원 업데이트에서는 뛰어난 성능을 보였다.
• re-centered 변형된 rescaledexp 는 조건 $\|w_\star - u\| \leq \|u\|$ 를 만족할 경우 원본과 동일한 리그레트 하한선을 유지하지만, 적대적 기울기에 대해서는 이 조건이 보장되지 않는다.
• 이 연구는 rescaledexp 가 하이퍼파rameter가 없고 튜닝된 알고리즘과 경쟁 가능한 성능을 보임을 보여주며, 실무자들이 사용할 수 있는 강력한 기본 선택지임을 입증한다.