[논문 리뷰] Simple Complexity Analysis of Direct Search.

Jakub Konečný, Peter Richtárik|arXiv (Cornell University)|2014. 10. 01.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 8

한 줄 요약

이 논문은 매끄러운 함수에 대한 도함수 없는 비제약 최소화 문제에서 패턴 검색 방법의 단순화된 복잡도 분석을 제공한다. '성공하지 못한 단계'를 분석적으로 유용한 것으로 재해석함으로써, 깔끔하고 해석 가능한 복잡도 경계를 도출한다: 볼록 문제의 경우 O(n/ε), 강한 볼록 문제의 경우 O(n log(1/ε), 비볼록 케이스의 경우 목적함수의 기울기 노름을 ε 이하로 줄이는 데 O(n/ε)이다.

ABSTRACT

We consider the problem of unconstrained minimization of a smooth function in the derivativefree setting. In particular, we study the pattern search method (of directional type). Despite relevant research activity spanning several decades, until recently no complexity guarantees— bounds on the number of function evaluations needed to find a satisfying point—for methods of this type were established. Moreover, existing complexity results require long proofs and the resulting bounds have a complicated form. In this paper we give a very brief and insightful analysis of pattern search for nonconvex, convex and strongly convex objective function, based on the observation that what is in the literature called an “unsuccessful step”, is in fact a step that can drive the analysis. We match the existing results in their dependence on the problem dimension (n) and error tolerance (ǫ), but the overall complexity bounds are much simpler, easier to interpret, and have better dependence on other problem parameters. In particular, we show that the number of function evaluations needed to find an ǫ-solution is O(n/ǫ) (resp. O(n log(1/ǫ))) for the problem of minimizing a convex (resp. strongly convex) smooth function. In the nonconvex smooth case, the bound is O(n/ǫ), with the goal being the reduction of the norm of the gradient below ǫ.

연구 동기 및 목표

• 도함수 없는 패턴 검색 방법에 대한 오랜 기간 동안 존재했던 복잡도 보장의 부재를 해결하기 위해.
• 비제약 매끄러운 최소화 문제에서 기존의 복잡한 복잡도 경계를 단순화하기 위해.
• 차원 n과 허용오차 ε와 같은 문제 매개변수에 대한 해석 가능성과 의존도를 향상시키기 위해.
• 볼록, 강한 볼록, 비볼록 매끄러운 함수에 대해 날카롭고 깔끔한 복잡도 경계를 확립하기 위해.

제안 방법

• 패턴 검색에서 '성공하지 못한 단계'를 분석적으로 유용한 것으로 재해석함으로써 더 날카운 분석이 가능하도록 한다.
• 실패로 간주되지 않고 수렴의 원동력으로 간주하는 새로운 시각을 도입하여 복잡도 분석에서 활용한다.
• 매끄러움 조건 하에 비볼록, 볼록, 강한 볼록 케이스를 통합된 프레임워크로 분석한다.
• ε-최적성 또는 ε-기울기 노름 감소를 달성하기 위해 필요한 함수 평가 횟수에 기반한 복잡도 경계를 유도한다.
• 이전 연구의 장기간에 걸친 유도 과정을 피하는 간결한 분석 기법을 활용한다.
• 문제 차원 n과 허용오차 ε에 대해 깔끔하게 의존하는 경계를 확립하며, 다른 매개변수에 대한 의존도도 향상시킨다.

실험 결과

연구 질문

• RQ1 도함수 없는 최적화에서 패턴 검색에 대해 더 단순하고 통찰력 있는 복잡도 분석을 개발할 수 있는가?
• RQ2 패턴 검색의 함수 평가 횟수는 차원 n과 허용오차 ε에 대해 진정으로 어떻게 의존하는가?
• RQ3 기존 결과와 비교해 복잡도 경계의 단순성과 날카움은 어떻게 평가되는가?
• RQ4 '성공하지 못한 단계' 개념을 재해석하여 수렴 분석을 향상시킬 수 있는가?
• RQ5 패턴 검색을 사용하여 매끄러운 비볼록, 볼록, 강한 볼록 함수를 최소화할 때 도달 가능한 가장 날카운 복잡도 경계는 무엇인가?

주요 결과

• 볼록 매끄러운 함수의 경우 ε-해를 찾기 위해 필요한 함수 평가 횟수는 O(n/ε)이다.
• 강한 볼록 매끄러운 함수의 경우 복잡도 경계는 O(n log(1/ε))이며, 이는 이전 결과보다 더 날카롭다.
• 비볼록 매끄러운 케이스에서는 기울기 노름을 ε 이하로 줄이기 위해 O(n/ε)의 함수 평가 횟수가 사용된다.
• 분석은 기존 증명을 단순화하고 문제 매개변수에 대한 의존도가 향상된 경계를 도출한다.
• 새로운 복잡도 경계는 기존 결과와 순서 수준은 같지만, 훨씬 더 해석 가능하고 간결하다.
• 성공하지 못한 단계를 분석적으로 유용한 것으로 재정의함으로써, 간결하고 통찰력 있는 복잡도 분석이 가능해졌다.