[논문 리뷰] Acceleration with a Ball Optimization Oracle

Yair Carmon, Arun Jambulapati외 5명|arXiv (Cornell University)|2020. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 쿼리 점 주변의 ℓ₂ 구 안에서 함수의 최소화자를 반환하는 볼 최적화 오라클을 사용한 볼록 최적화를 위한 가속화 알고리즘을 제안한다. 저자들은 표준 O(r^{-1} log(1/ε)) bound보다 개선된 O(r^{-2/3} log(1/ε))의 쿼리 복잡도를 달성하였으며, 이는 최적성임을 보여주는 일치하는 하한선을 제시한다. 이 방법은 헤시안 안정성 조건 하에서 효율적으로 오라클을 구현함으로써 로지스틱, ℓ∞ 및 ℓp 회귀 문제와 같은 회귀 문제에서 더 빠른 수렴을 가능하게 한다.

ABSTRACT

Consider an oracle which takes a point $x$ and returns the minimizer of a convex function $f$ in an $\ell_2$ ball of radius $r$ around $x$. It is straightforward to show that roughly $r^{-1}\log\frac{1}ε$ calls to the oracle suffice to find an $ε$-approximate minimizer of $f$ in an $\ell_2$ unit ball. Perhaps surprisingly, this is not optimal: we design an accelerated algorithm which attains an $ε$-approximate minimizer with roughly $r^{-2/3} \log \frac{1}ε$ oracle queries, and give a matching lower bound. Further, we implement ball optimization oracles for functions with locally stable Hessians using a variant of Newton's method. The resulting algorithm applies to a number of problems of practical and theoretical import, improving upon previous results for logistic and $\ell_\infty$ regression and achieving guarantees comparable to the state-of-the-art for $\ell_p$ regression.

연구 동기 및 목표

• 주어진 점 주변의 ℓ₂ 구 안에서 함수의 최소화자를 반환하는 볼 최적화 오라클에 의존하는 1차 최적화 방법의 쿼리 복잡도를 향상시키는 것.
• 표준 O(r^{-1}) 쿼리 복잡도와 이론적 하한선 사이의 격차를 좁혀, O(r^{-2/3})가 최적임을 보이는 것.
• 국소적으로 안정된 헤시안을 갖는 함수에 대해 수정된 뉴턴 방법을 사용하여 볼 최적화 오라클을 효율적으로 구현하는 것.
• 가속화 프레임워크를 실제 회귀 문제, 특히 로지스틱, ℓ∞ 및 ℓp 회귀에 적용하여 최신 기술 수준 또는 그 이상의 수렴 속도를 달성하는 것.

제안 방법

• 저자들은 몬테이로-스바이터(MS) 오라클 프레임워크의 가속화된 변형을 사용하며, 이는 동적으로 조정된 정규화 파라미터 λ를 갖는 프록시멀 하위문제를 해결하는 데 기반한다.
• 쿼리 복잡도를 높이기 위해 λ에 대한 이진 검색을 사용하여 은폐된 방정식 λ = λ_r(y(λ))의 해를 근사함으로써 볼 최적화 오라클에 효율적으로 접근한다.
• 핵심 혁신은 수렴 속도를 ‖x_{k+1} - y_k‖ 거리와 연결하는 데 있으며, 이는 마지막 반복을 제외한 모든 반복에서 r 이내로 제한되므로 (R/r)^{2/3} 복잡도를 가능하게 한다.
• 헤시안이 r-구 내에서 최대 상수 배수 이내로 변할 수 있는 국소적으로 안정된 헤시안을 갖는 함수의 경우, 저자들은 헤시안 가중 거칠기(norm)에서 네스테로프의 가속화된 경사하강법을 사용하여 볼 오라클을 구현한다.
• 핵심적으로, 네미로프스키의 함수(기본적인 딱딱한 함수)의 강력한 제로 체인 성질을 활용하여, r-국소 오라클을 사용하는 모든 알고리즘에 대해 Ω((R/r)^{2/3})의 일치하는 하한선을 증명한다.
• 분석은 요아의 최소최대 원리와 랜덤 프로젝션에 대한 집중 불등식을 사용하여, r-구 외부로 벗어나지 않을 확률를 제한함으로써, 악성 입력 분포 하에서 하한선을 확립한다.

실험 결과

연구 질문

• RQ1 1차 최적화 방법이 볼 최적화 오라클을 사용할 경우, O(r^{-1})을 초월해 쿼리 복잡도를 향상시킬 수 있는가?
• RQ2 O(r^{-2/3})의 쿼리 복잡도는 부드러운 볼록 함수 최소화에 있어 이러한 오라클을 통해 달성 가능하고 최적이며, 이는 최적임을 보장하는가?
• RQ3 국소적으로 안정된 헤시안을 갖는 함수에 대해 볼 최적화 오라클을 효율적으로 구현할 수 있는가?
• RQ4 가속화 프레임워크는 로지스틱 및 ℓp 회귀와 같은 실용적 회귀 문제에서 어떻게 성능을 발휘하는가?
• RQ5 오직 r-구 내에서의 오라클 액세스만 가능할 경우, 최적화의 정보 이론적 한계는 무엇인가?

주요 결과

• 제안된 알고리즘은 ε-근사 최소화자를 찾는 데 O(r^{-2/3} log(1/ε))의 쿼리 복잡도를 달성하여 표준 O(r^{-1} log(1/ε)) bound보다 크게 향상시켰다.
• 모든 r-국소 오라클을 사용하는 알고리즘에 대해 Ω((R/r)^{2/3})의 일치하는 하한선이 증명되었으며, 이는 제안된 복잡도의 최적성을 입증한다.
• 이 방법은 로지스틱 회귀, ℓ∞ 회귀, ℓp 회귀에서 더 빠른 수렴을 가능하게 하며, 최신 기술 수준의 수렴 속도를 유지하거나 초월한다.
• 국소적으로 안정된 헤시안을 갖는 함수에 대해 헤시안 가중 거칠기에서의 가속화된 경사하강법을 사용하여 볼 최적화 오라클을 효율적으로 구현한다.
• 분석 결과, 수렴 속도는 MS 오라클의 중간 점 y_k와 x_{k+1} 사이의 제곱 거리에 따라 달라지며, 이 거리는 r 이내로 제한되어 있어 복잡도 향상을 가능하게 한다.
• r-국소 오라클이 r-구 내의 모든 함수 값을 노출한다고 해도 하한선은 그대로 유지되며, 이는 복잡도 한계의 강건성을 보여준다.