[논문 리뷰] A simple parameter-free and adaptive approach to optimization under a minimal local smoothness assumption

Peter L. Bartlett, Victor Gabillon외 1명|arXiv (Cornell University)|2018. 10. 01.

Advanced Bandit Algorithms Research참고 문헌 1인용 수 16

한 줄 요약

이 논문은 소음 수준이나 부드러움 정도를 알지 못해도, 최소한의 국소적 부드러움 조건 하에서 최첨단의 손실 보장 성능을 달성하는 파라미터 없는 적응형 최적화 알고리즘을 제안한다. 이 알고리즘은 저소음 및 영소음 영역, 특히 결정론적 피드백 환경에서도 수렴성을 크게 향상시키며, 넓은 범위의 함수에 대해 지수적 손실 감소를 달성한다.

ABSTRACT

We study the problem of optimizing a function under a \\emph{budgeted number of evaluations}. We only assume that the function is \\emph{locally} smooth around one of its global optima. The difficulty of optimization is measured in terms of 1) the amount of \\emph{noise} $b$ of the function evaluation and 2) the local smoothness, $d$, of the function. A smaller $d$ results in smaller optimization error. We come with a new, simple, and parameter-free approach. First, for all values of $b$ and $d$, this approach recovers at least the state-of-the-art regret guarantees. Second, our approach additionally obtains these results while being \ extit{agnostic} to the values of both $b$ and $d$. This leads to the first algorithm that naturally adapts to an \ extit{unknown} range of noise $b$ and leads to significant improvements in a moderate and low-noise regime. Third, our approach also obtains a remarkable improvement over the state-of-the-art SOO algorithm when the noise is very low which includes the case of optimization under deterministic feedback ($b=0$). There, under our minimal local smoothness assumption, this improvement is of exponential magnitude and holds for a class of functions that covers the vast majority of functions that practitioners optimize ($d=0$). We show that our algorithmic improvement is borne out in experiments as we empirically show faster convergence on common benchmarks.

연구 동기 및 목표

• 최소한의 가정, 특히 전역 최적점 주변의 국소적 부드러움과 유한한 소음 조건 하에서도 잘 작동하는 최적화 알고리즘을 개발하는 것.
• 소음 수준이나 부드러움 정도와 같은 조정 매개변수의 필요성을 제거하여, 알려지지 않은 함수 성질에 자동으로 적응할 수 있도록 하는 것.
• 소음 또는 부드러움 정도에 대한 사전 지식 없이도 스토케스틱 및 결정론적 피드백 환경 모두에서 최적의 손실 보장을 달성하는 것.
• 기존 방법들이 최적성이 떨어지는 저소음 및 결정론적 환경에서의 성능 향상을 이루는 것.
• 기존 트리 기반 최적화 알고리즘과 비교해 표준 벤치마크에서 더 빠른 수렴을 경험적으로 검증하는 것.

제안 방법

• 알고리즘은 SOO 및 StoSOO와 유사한 트리 기반 탐색 구조를 사용하지만, 관측된 함수 값과 소음 추정치에 기반해 탐색을 동적으로 조정하는 새로운 적응형 선택 규칙을 도입한다.
• 관측된 국소 함수 변동성을 활용해 알려지지 않은 소음 수준과 국소 부드러움 정도에 암묵적으로 적응하는 파라미터 없는 상한 신뢰도 기반 기준(UCB 스타일)을 사용한다.
• 최소한의 국소 부드러움 조건에 기반하며, 이는 $ d $ 라는 매개변수로 정의되며, $ d $ 가 작을수록 최적점 근처의 함수 정규성은 높아진다.
• 선택 규칙은 학습률이나 탐색 계수를 수동 조정할 필요 없이, 관측된 분산과 함수 행동에 기반한 자가 조정식 신뢰구간을 사용한다.
• 알고리즘은 소음 수준 $ b $ 와 부드러움 매개변수 $ d $ 를 모두 무시하는 설계로, 다양한 환경에서 자동 적응이 가능하다.
• 결정론적 경우($ b = 0 $)에서 $ d = 0 $ 이면 지수적 손실 감소를 달성한다. 이는 실용적인 함수의 광범위한 클래스에 해당한다.

실험 결과

연구 질문

• RQ1 소음 수준이나 국소 부드러움 정도를 사전에 알지 못해도, 파라미터 없는 최적화 알고리즘이 최적의 손실 보장을 달성할 수 있는가?
• RQ2 함수가 전역적으로 부드럽지 않은 경우, 결정론적 피드백 환경($ b = 0 $)에서 알고리즘의 성능은 어떠한가?
• RQ3 다양한 소음 수준에 자연스럽게 적응하며, 소음 추정치를 조정이 필요한 방법들보다 뛰어난 성능을 보일 수 있는가?
• RQ4 국소 부드러움이 0($ d = 0 $) 이고 소음이 없을 경우, 손실 감속률은 어떻게 향상되는가?
• RQ5 초모수 조정 없이도 스토케스틱 및 결정론적 피드백 환경 모두에서 강력한 성능을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘인 StroquOOL은 모든 소음 및 부드러움 수준에서 최첨단의 손실 보장을 달성하며, 매개변수 조정이 필요 없다.
• 결정론적 피드백 환경($ b = 0 $)에서 $ d = 0 $ 이면 StroquOOL은 지수적 손실 감소($ e^{-n/\text{polylog}(n)} $)를 달성하며, SOO 및 SequOOL을 크게 능가한다.
• 가든드 함수($ d = 0 $)의 경우, StroquOOL은 결정론적 환경에서 지수적 손실 감소를 보이며, SOO는 오직 $ e^{-\text{poly}(\text{log } n)} $ 감소 수준에 머문다.
• 저소음 영역($ b = 0.1 $)에서 StroquOOL은 소음 변화에 자연스럽게 적응하지 못하고 정확한 소음 추정치가 필요한 POO 및 HOO를 능가한다.
• 소음이 과소평가될 경우($ \tilde{b} \neq b $), POO 및 HOO는 성능이 급격히 떨어지지만, StroquOOL은 모든 소음 수준에서 강력한 성능을 유지한다.
• 워프드 사인 함수 및 가든드 함수에 대한 경험적 결과는 StroquOOL이 SOO, StoSOO 및 POO보다 더 빠른 수렴과 더 나은 소음 및 부드러움 적응 능력을 보임을 확인한다.