[논문 리뷰] Optimization of Smooth Functions with Noisy Observations: Local Minimax Rates

Yining Wang, Sivaraman Balakrishnan외 1명|arXiv (Cornell University)|2018. 03. 22.

Advanced Optimization Algorithms Research인용 수 7

한 줄 요약

이 논문은 노이즈가 있는 관측 조건 하에서 매끄럽고 비볼록 함수에 대한 제로스티 오пт마이제이션을 분석하기 위해 국소 미니맥스 프레임워크를 제안한다. 이 프레임워크는 적응형 알고리즘의 수렴 속도가 전역 미니맥스 경계가 제시하는 것보다 훨씬 빠를 수 있음을 보여주며, 특히 전역 최소값 근처에서 수준 집합의 성장 속도가 빠를 경우에 특히 그렇다. 주요 기여는 국소 함수 기하학에 기반한 최적화의 본질적 어려움을 정교하게 이론적으로 기술한 것으로, 비적응형 알고리즘은 전역적으로 미니맥스 최적임에도 불구하고 국소 최적 수렴 속도를 달성할 수 없다는 것을 입증한다.

ABSTRACT

We consider the problem of global optimization of an unknown non-convex smooth function with zeroth-order feedback. In this setup, an algorithm is allowed to adaptively query the underlying function at different locations and receives noisy evaluations of function values at the queried points (i.e. the algorithm has access to zeroth-order information). Optimization performance is evaluated by the expected difference of function values at the estimated optimum and the true optimum. In contrast to the classical optimization setup, first-order information like gradients are not directly accessible to the optimization algorithm. We show that the classical minimax framework of analysis, which roughly characterizes the worst-case query complexity of an optimization algorithm in this setting, leads to excessively pessimistic results. We propose a local minimax framework to study the fundamental difficulty of optimizing smooth functions with adaptive function evaluations, which provides a refined picture of the intrinsic difficulty of zeroth-order optimization. We show that for functions with fast level set growth around the global minimum, carefully designed optimization algorithms can identify a near global minimizer with many fewer queries. For the special case of strongly convex and smooth functions, our implied convergence rates match the ones developed for zeroth-order convex optimization problems. At the other end of the spectrum, for worst-case smooth functions no algorithm can converge faster than the minimax rate of estimating the entire unknown function in the $\\ell_\\infty$-norm. We provide an intuitive and efficient algorithm that attains the derived upper error bounds.

연구 동기 및 목표

• 제로스티 오пт마이제이션에서 고전적 전역 미니맥스 분석의 한계를 해결하기 위해, 노이즈가 있는 평가 조건 하에서 매끄러운 함수 최적화의 어려움을 과대평가하는 문제를 다루는 것.
• 국소 함수 기하학적 성질, 특히 전역 최소값 근처에서의 수준 집합 성장에 기반한 최적화의 본질적 어려움을 반영하는 국소 미니맥스 프레임워크를 개발하는 것.
• 노이즈 조건 하에서 제로스티 오пт마이제이션에서 적응형 대비 비적응형 쿼리 전략의 이론적 우월성을 명확히 하는 것.
• 국소 함수 구조, 특히 하위수준 집합의 체적 성장에 따라 달라지는 최적화 오차의 날카운 상한 및 하한을 설정하는 것.
• 강력한 볼록성과 매끄러움 조건을 만족하는 함수의 경우, 유도된 수렴 속도가 제로스티 볼록 최적화에서 알려진 최적 속도와 일치함을 보여주는 것.

제안 방법

• 전역 최소화점 주변의 참조 함수 $ f_0 $ 를 기준으로 최적화 오차를 평가하는 국소 미니맥스 프레임워크를 도입하며, 전역 최소화점 주변에 집중한다.
• 하위수준 집합 $ L_f(\epsilon) $ 의 체적 성장에 기반한 국소 미니맥스 속도를 특성화하며, $ \mu_f(\epsilon) = \mathrm{Vol}(L_f(\epsilon)) $ 로 정의되며, $ \mu_f(\epsilon) \asymp \epsilon^\beta $ (일부 $ \beta > 0 $) 를 만족한다.
• 균일 샘플링과 가우시안 노이즈를 기반으로 한 비모수적 회귀 추정기 $ \widecheck{f} $ 를 사용하여 함수를 근사하며, 농도 부등식을 통해 오차 경계를 도출한다.
• 체르노프 및 유니온 부등식을 적용하여 국소 이웃에서 충분한 샘플 밀도를 확보함으로써 추정 오차의 고확률 제어를 가능하게 한다.
• 하위수준 집합의 커버링/패킹 수를 수렴 속도와 연결함으로써, 함수의 국소 기하학과 미니맥스 속도 사이의 관계를 설정한다.
• 비적응형 알고리즘이 전역적으로 미니맥스 최적임에도 불구하고 국소 최적 미니맥스 속도를 달성하지 못함을 보여주는 것으로, 적응성의 본질적 격차를 입증한다.

실험 결과

연구 질문

• RQ1 고전적 전역 미니맥스 분석은 제로스티 오пт마이제이션에서 노이즈 조건 하에서 진정한 어려움을 더 잘 반영하도록 개선될 수 있는가?
• RQ2 함수의 기하학적 조건(예: 수준 집합 성장)이 어떤 조건일 경우, 적응형 알고리즘이 전역 미니맥스 경계가 제안하는 것보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ3 왜 실무에서는 적응형 쿼리 전략을 사용하는 경험적 방법이, 전역 미니맥스 분석에서 이론적으로 낙관적이지 않은 상황에서도 피asive 샘플링보다 뛰어나게 작동하는가?
• RQ4 전역 최소값 근처에서 하위수준 집합이 급격히 성장할 경우, 최적화 오차의 본질적 한계는 무엇인가?
• RQ5 적응형 및 비적응형 알고리즘은 국소 미니맥스 최적성 측면에서 어떻게 비교될 수 있는가?

주요 결과

• 제로스티 오пт마이제이션의 국소 미니맥스 속도는 하위수준 집합의 체적 성장에 따라 달라지며, 빠른 성장(큰 $ \beta $)은 더 빠른 수렴을 가능하게 하며, 속도는 $ \widetilde{O}(n^{-\alpha/(2\alpha + \beta)}) $ 로 표현된다.
• 강력한 볼록성과 매끄러움 조건을 만족하는 함수의 경우, 유도된 수렴 속도는 제로스티 볼록 최적화에서 알려진 최적 속도와 일치함을 보여주며, 이 프레임워크의 날카운성(tightness)을 검증한다.
• 최악의 상황(느린 수준 집합 성장)에서는 어떤 알고리즘도 $ \ell_\infty $-노름 함수 추정의 미니맥스 속도, 즉 $ \widetilde{O}(n^{-\alpha/(2\alpha + d)}) $ 를 초과해 수렴할 수 없다.
• 유도된 상한 오차 경계를 달성하는 효율적인 적응형 알고리즘을 제안하여 이론적 결과의 실용적 타당성을 입증한다.
• 비적응형 알고리즘은 전역적으로 미니맥스 최적이지만, 국소 최적 미니맥스 속도를 달성하지 못함을 보여주며, 국소 최적화에서 피asive 샘플링의 본질적 한계를 드러낸다.
• 이 논문은 적응형과 비적응형 전략 사이에 명확한 이원론을 설정한다: 적응성은 매끄럽고 비볼록 환경에서 국소 최적 수렴을 달성하기 위해 필수적이다.