[논문 리뷰] Adaptive Regret of Convex and Smooth Functions

Lijun Zhang, Tie‐Yan Liu외 1명|arXiv (Cornell University)|2019. 04. 26.

Advanced Bandit Algorithms Research인용 수 17

한 줄 요약

이 논문은 스케일 프리 온라인 그라디언트 디센트(SOGD)와 문제에 의존하는 간격 구성 기법을 활용하여 강력한 적응형 성능을 보이는 SACS라는, 볼록이고 미분 가능한 함수에 대한 온라인 볼록 최적화를 위한 강력한 적응형 알고리즘을 제안한다. 주요 기여는 $ O(\sqrt{L_{r}^{s} \log s \cdot \log(s-r)}) $ 의 적응형 리그레트 한계를 달성하는 것으로, 이는 비교자에 대한 누적 손실 $ L_{r}^{s} $ 가 최악의 경우 $ O(\sqrt{(s-r)\log s}) $ 보다 훨씬 작은 경우에 크게 향상된다.

ABSTRACT

We investigate online convex optimization in changing environments, and choose the adaptive regret as the performance measure. The goal is to achieve a small regret over every interval so that the comparator is allowed to change over time. Different from previous works that only utilize the convexity condition, this paper further exploits smoothness to improve the adaptive regret. To this end, we develop novel adaptive algorithms for convex and smooth functions, and establish problem-dependent regret bounds over any interval. Our regret bounds are comparable to existing results in the worst case, and become much tighter when the comparator has a small loss.

연구 동기 및 목표

• 시간이 지남에 따라 변화하는 환경에서 최적의 결정이 변화하는 상황에서 적응형 리그레트를 최소화하는 데 도전한다.
• 볼록성 외에 부드러움의 특성을 활용하여, 볼록성만으로는 달성할 수 없는 더 날카운 리그레트 한계를 향상시킨다.
• 손실 크기의 사전 지식 없이도 낮은 비교자 손실에 자동으로 이점을 얻을 수 있도록 적응형 알고리즘을 설계한다.
• 실제 손실 궤적에 기반한 문제에 의존하는 간격 구성 전략을 개발하여 리그레트 한계를 추가로 날카워지게 한다.

제안 방법

• 손실 척도에 대한 사전 지식이 필요 없이 부드러움에 자동으로 적응하는 스케일 프리 온라인 그라디언트 디센트(SOGD)를 도입한다.
• 기하급수적으로 간격이 분할된 간격들에 대해 다수의 SOGD 인스턴스를 결합하는 볼록 및 부드러운 함수를 위한 강력한 적응형 알고리즘(SACS)을 설계한다.
• 다수의 SOGD 인스턴스에서의 예측을 집계하기 위해 전문가 추적 메타 알고리즘을 활용하여, 낮은 손실 비교자로부터의 성능 이점을 확보한다.
• 누적 손실 궤적에 기반한 문제에 의존하는 간격을 구성하여, 고정 간격 접근 방식을 초월한 리그레트 한계를 개선한다.
• 모든 간격이 로그 수준의 기본 간격으로 커버되도록 마커 기반 간격 커버링 기법을 사용하여 효율적인 리그레트 분석을 가능하게 한다.
• 마커를 통한 새로운 리그레트 분해 및 경계 설정 기법을 적용하여, $ \tilde{c}(t) $ 와 $ \tilde{a}(t), \tilde{b}(t) $ 를 사용해 간격 간 리그레트 기여도를 제어한다.

실험 결과

연구 질문

• RQ1 볼록 함수의 부드러움은 볼록성에 의존하는 것 외에 더 날카운 적응형 리그레트 한계를 달성하는 데 활용될 수 있는가?
• RQ2 비교자에 대한 간격 내 누적 손실이 작을 경우 적응형 리그레트는 어떻게 향상될 수 있는가?
• RQ3 손실 척도에 대한 사전 지식 없이도 낮은 손실 비교자로부터 자동으로 이점을 얻을 수 있는 메타 알고리즘이 설계될 수 있는가?
• RQ4 실제 손실 궤적에 기반해 간격을 적응적으로 구성하는 것이 리그레트 한계를 추가로 향상시키는 데 가능할까?

주요 결과

• SACS 알고리즘은 임의의 간격 $[r,s]$ 에서 $ L_{r}^{s} $ 가 이 간격 내 비교자에 대한 최소 누적 손실일 때, $ O(\sqrt{L_{r}^{s} \log s \cdot \log(s-r)}) $ 의 적응형 리그레트 한계를 달성한다.
• 이 한계는 $ L_{r}^{s} \ll s-r $ 일 경우 기존의 $ O(\sqrt{(s-r)\log s}) $ 한계보다 엄격히 날카롭게 된다. 특히 낮은 손실 영역에서 두드러진다.
• 손실 궤적에 기반한 문제에 의존하는 간격을 구성함으로써 리그레트 한계는 $ O(\sqrt{L_{r}^{s} \log L_{1}^{s} \cdot \log L_{r}^{s}}}) $ 로 추가로 향상되며, 이는 실제 데이터에 더 적응적으로 된다.
• SOGD 구성 요소는 손실 척도나 곡률에 대한 사전 지식 없이도 부드러움을 자동으로 활용할 수 있도록 한다.
• 이론적 분석은 마커와 간격 커버링을 통한 리그레트 분해가 간격 길이에 대해 로그 의존성을 유지하면서도 실제 비교자 손실에 대해 날카로운 한계를 유지함을 확인한다.