[논문 리뷰] Query Complexity of Derivative-Free Optimization

Kevin Jamieson, Robert D. Nowak외 1명|arXiv (Cornell University)|2012. 09. 11.

Computability, Logic, AI Algorithms참고 문헌 17인용 수 78

한 줄 요약

이 논문은 노이즈가 있는 함수 평가와 부울 함수 비교 조건 하에서 유도하지 않는 최적화(DFO)의 쿼리 복잡도에 대한 기본 하한을 확립하며, 노이즈가 존재하는 환경에서 DFO 방법이 기울기 방법이 달성하는 더 빠른 $\Theta(1/T)$ 수렴 속도를 달성할 수 없음을 증명한다. 또한 오직 쌍별 비교만을 사용하는 새로운 DFO 알고리즘을 제안하여 근사 최적의 $\widetilde{O}(n(n/T)^{1/2})$ 수렴 속도를 달성하며, $T$에 대한 하한과 일치함을 보이며 비교 기반 DFO가 평가 기반 DFO와 쿼리 효율성 측면에서 동등하다는 것을 보여준다.

ABSTRACT

This paper provides lower bounds on the convergence rate of Derivative Free Optimization (DFO) with noisy function evaluations, exposing a fundamental and unavoidable gap between the performance of algorithms with access to gradients and those with access to only function evaluations. However, there are situations in which DFO is unavoidable, and for such situations we propose a new DFO algorithm that is proved to be near optimal for the class of strongly convex objective functions. A distinctive feature of the algorithm is that it uses only Boolean-valued function comparisons, rather than function evaluations. This makes the algorithm useful in an even wider range of applications, such as optimization based on paired comparisons from human subjects, for example. We also show that regardless of whether DFO is based on noisy function evaluations or Boolean-valued function comparisons, the convergence rate is the same.

연구 동기 및 목표

• 함수 평가가 노이즈에 영향을 받을 때 유도하지 않는 최적화(DFO)의 수렴 속도에 대한 기본 한계를 확립하는 것.
• 함수 비교를 기반으로 하는 DFO 방법이 실제 함수 평가를 사용하는 방법과 동일한 수렴 속도를 달성할 수 있는지 조사하는 것.
• 노이즈가 있는 함수 평가와 비교 오라클 조건 하에서 강凸 함수에 대해 근사 최적의 수렴 속도를 달성하는 새로운 DFO 알고리즘을 개발하는 것.
• 기울기 기반 방법과 DFO 방법 사이의 성능 격차가 노이즈가 존재하는 상황에서도 유지되며, 오직 쌍별 비교만을 사용하는 경우에도 마찬가지로 지속됨을 보여주는 것.
• 인간 주관적 비교(예: '더 나은가, 더 나쁜가?')만 가능한 환경으로 DFO의 적용 가능성을 확장하는 것.

제안 방법

• 논문은 노이즈가 있는 함수 평가와 비교 오라클 조건 하에서 DFO의 기대 최적화 오차에 대한 하한을 유도하며, 두 모델 모두 기본적인 $\Omega(\sqrt{1/T})$ 수렴 속도를 보임을 증명한다.
• 수치적 함수 값에 의존하지 않고 부울 값의 함수 비교만을 사용하는 새로운 DFO 알고리즘을 도입한다.
• 알고리즘은 동전 뒤집기 전략을 사용하여 노이즈가 있는 비교 조건 하에서도 함수 차이의 부호를 강인하게 추정한다.
• 특히 $\kappa > 1$일 경우, 작은 함수 차이에서 신뢰도가 감소하므로 유니언 바운딩과 반복적 샘플링을 사용하여 신뢰할 수 있는 비교 결정을 보장한다.
• 강凸성과 리프시츠 기울기 가정을 고려하여 $T$, 차원 $n$, 신뢰도 파라미터에 대한 수렴 속도를 유도한다.
• 제안된 알고리즘이 $\widetilde{O}(n(n/T)^{1/2})$ 수렴 속도를 달성함을 증명하며, 이는 차원 의존성에 대해 $n$의 인자만을 제외하고 하한과 일치한다.

실험 결과

연구 질문

• RQ1 함수 평가가 노이즈에 의해 손상될 때, 유도하지 않는 최적화의 기본 쿼리 복잡도 한계는 무엇인가?
• RQ2 쌍별 비교를 기반으로 하는 DFO 알고리즘이 실제 함수 평가를 사용하는 알고리즘과 동일한 수렴 속도를 달성할 수 있는가?
• RQ3 노이즈 또는 신뢰도가 떨어지는 비교 응답 조건 하에서도 증명 가능한 근사 최적의 DFO 알고리즘이 함수 비교만으로 작동할 수 있는가?
• RQ4 노이즈 존재 조건 하에서 DFO의 성능이 기울기 기반 방법과 비교해 $T$에 대한 수렴 속도 스케일링 측면에서 어떻게 다를까?
• RQ5 비교 오라클의 신뢰도 모델(파라미터 $\kappa$로 파arameterized)이 총 쿼리 수에 어떤 영향을 미치는가?

주요 결과

• 논문은 노이즈가 있는 함수 평가 또는 쌍별 비교를 사용하는 모든 DFO 알고리즘에 대해 기대 최적화 오차에 대해 $\Omega(\sqrt{1/T})$ 하한을 증명한다. 이는 강凸 함수일 경우에도 성립한다.
• 이 하한은 유한 차분 방법의 수렴 속도와 일치하며, DFO가 노이즈가 있는 기울기 방법이 달성하는 $\Theta(1/T)$ 속도를 달성할 수 없음을 보여준다.
• 제안된 DFO 알고리즘은 $\widetilde{O}(n(n/T)^{1/2})$ 수렴 속도를 달성하며, 이는 차원 의존성에 대해 $n$의 인자만을 제외하고 타이트하며 $T$에 대해 하한과 일치한다.
• 특히 $\kappa=1$일 경우, 알고리즘의 수렴 속도는 $\widetilde{O}(\exp(-c\sqrt{T/(n\log(n/\delta))}))$로 표현되며, 일정한 신뢰도 조건 하에서 $T$에 대해 지수 감소함을 보여준다.
• 분석 결과, 비교 기반 DFO는 평가 기반 DFO보다 느리지 않으며, 둘 다 동일한 $\Omega(\sqrt{1/T})$ 하한을 달성함을 보여준다.
• 비교 신뢰도가 작은 함수 차이에서 감소하는 조건($\kappa > 1$)에서도 알고리즘이 효과적으로 작동하며, 쿼리 복잡도는 $\widetilde{O}(nL/\tau \cdot (n/\epsilon)^{2(\kappa-1)} \log^2(f(x_0)-f(x^*)) \log(n/\delta))$로 스케일링된다.