[논문 리뷰] Lower Bounds for Higher-Order Convex Optimization

Naman Agarwal, Elad Hazan|arXiv (Cornell University)|2017. 10. 27.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 7

한 줄 요약

이 논문은 k차 최적화 알고리즘에 대한 알려진 바 없는 하한을 확립하며, 볼록 함수일지라도 고정밀도 해를 구하기 위해 부드러움 파라미터와 근사 오차 허용 범위에 대해 다항수의 반복 횟수가 필요하다는 것을 보여준다. 저자들은 네스테로프의 가속화 입체 정규화 방법이 거의 최적임을 증명하며, 2차 방법에 대해 엄밀한 복잡도 하한 Ω((L₃/ε)^{2/11})을 확보한다.

ABSTRACT

State-of-the-art methods in convex and non-convex optimization employ higher-order derivative information, either implicitly or explicitly. We explore the limitations of higher-order optimization and prove that even for convex optimization, a polynomial dependence on the approximation guarantee and higher-order smoothness parameters is necessary. As a special case, we show Nesterov's accelerated cubic regularization method to be nearly tight.

연구 동기 및 목표

• 고차 최적화 방법의 기본적 한계를 이해하기 위해, 특히 k차 도함수를 사용할 때의 상황을 분석한다.
• k차 도함수의 부드러움 파라미터를 포함하는 하한을 증명하여 고차 방법에 대한 이론적 이해의 격차를 메운다.
• 볼록 문제일지라도 고차 최적화에서 부드러움과 정확도에 대한 다항수 의존성이 피할 수 없다는 것을 보여준다.
• 일치하는 하한을 증명하여 네스테로프의 가속화 입체 정규화 방법이 거의 최적임을 입증한다.
• 고차 부드러움을 유지하면서도 쿼리 포인트에서 고차 도함수가 모두 0이 되도록 하는 구성 기법을 제공함으로써, 부드러움이 복잡도에 미치는 영향을 분리한다.

제안 방법

• k차 최적화를 반복 알고리즘으로 모델링하며, 각 단계에서 현재 점에서의 함수 값과 최대 차수 k까지의 모든 도함수를 수신한다.
• k차 부드러움을 k차 도함수의 리프시츠 연속성으로 정의하며, 파라미터 L_{k+1}을 사용한다.
• 스무딩 연산자 S^k_δ를 사용하여 k차 부드러움을 보장하면서 도함수 행동을 제어하는 볼록 함수의 가족을 구성한다.
• 미래의 함수 최솟값에 대한 정보를 알고리즘이 확보하지 못하도록 하기 위해, 정규직교 기저 벡터 a₁,…,a_T의 랜덤 인도크티브 구성법을 사용한다.
• 확률적 추론을 적용하여 알고리즘이 소수의 반복 내에서 함수의 최솟값을 식별할 가능성을 제한한다.
• 합집합 상한과 구면의 표면적 추정을 사용하여, 알고리즘이 최솟값에 대해 유용한 정보를 확보할 확률이 단계당 최대 δ/T이며, 총 성공 확률이 1−δ 이상임을 보여준다.

실험 결과

연구 질문

• RQ1 어느 k차 알고리즘이나 볼록 최적화에서 ε-정확도를 달성하기 위해 필요한 최소 반복 횟수는 얼마인가?
• RQ2 k차 부드러움(L_{k+1})은 고차 최적화 방법의 반복 복잡도에 어떻게 영향을 미치는가?
• RQ3 고차 최적화 방법이 조건수나 차원에 독립적인 반복 복잡도를 달성할 수 있는가?
• RQ4 네스테로프의 가속화 입체 정규화 방법은 로그 인자 수준까지 최적인가?
• RQ5 함수가 k번 미분 가능하고 k차 부드러움을 만족할 때 고차 최적화의 기본적 한계는 무엇인가?

주요 결과

• 이 논문은 어떤 k차 알고리즘도 볼록 최적화에서 ε-정확도를 달성하기 위해 최소 Ω((L_{k+1}/ε)^{2/(5k+1)})회의 반복이 필요하다는 하한을 증명한다.
• k=2일 경우 하한은 Ω((L₃/ε)^{2/11})이며, 알려진 최상의 상한 O((L₃/ε)^{2/7})에 비해 거의 정확하다.
• 고차 도함수가 쿼리 포인트에서 모두 0이 되는 경우에도 하한이 유지되며, 이는 부드러움 제약 조건이 복잡도에 필수적임을 시사한다.
• 이 구성은 모든 k차 도함수가 반경 kδ 이내의 국소 함수 값에만 의존하도록 하여, 부드러움과 도함수 행동을 제어할 수 있다.
• 정규직교 기저 벡터의 랜덤 구성은 알고리즘이 충분히 많은 쿼리를 수행하지 않는 한 최솟값의 위치를 높은 확률로 예측할 수 없음을 보장한다.
• 이 하한은 결정론적 및 랜덤 알고리즘 모두에 대해 강건하며, 차원 d는 성공 확률이 유계로 유지되도록 충분히 크게 선택된다.