[논문 리뷰] Second-order Conditional Gradients

Alejandro Carderera, Sebastian Pokutta|arXiv (Cornell University)|2020. 02. 20.

Sparse and Compressive Sensing Techniques인용 수 2

한 줄 요약

이 논문은 제약 조건이 있는 2차 순서의 볼록 최적화를 위한 프로젝션 프리 알고리즘인 제2차 조건부 그래디언트 슬라이딩(SOCGS)을 소개한다. 이 알고리즘은 선형 최소화 오라클을 사용하여 하위문제를 근사적으로 풀음으로써 프로젝션을 피한다. 유한한 반복 횟수 이후에 원래 목표 함수의 갭이 제곱수 수준으로 수렴하며, ε-최적해에 도달하기 위해 오직 O(log(log 1/ε))개의 1차 및 헤시안 오라클 호출과 O(log(1/ε) log(log 1/ε))개의 선형 최소화 오라클 호출을 필요로 한다. 이는 타당 영역이 다각체인 경우에 성립한다.

ABSTRACT

Constrained second-order convex optimization algorithms are the method of choice when a high accuracy solution to a problem is needed, due to their local quadratic convergence. These algorithms require the solution of a constrained quadratic subproblem at every iteration. We present the \emph{Second-Order Conditional Gradient Sliding} (SOCGS) algorithm, which uses a projection-free algorithm to solve the constrained quadratic subproblems inexactly. When the feasible region is a polytope the algorithm converges quadratically in primal gap after a finite number of linearly convergent iterations. Once in the quadratic regime the SOCGS algorithm requires $\mathcal{O}(\log(\log 1/\varepsilon))$ first-order and Hessian oracle calls and $\mathcal{O}(\log (1/\varepsilon) \log(\log1/\varepsilon))$ linear minimization oracle calls to achieve an $\varepsilon$-optimal solution. This algorithm is useful when the feasible region can only be accessed efficiently through a linear optimization oracle, and computing first-order information of the function, although possible, is costly.

연구 동기 및 목표

• 제약 조건이 있는 2차 순서 최적화에서 1차 및 헤시안 오라클 사용의 높은 계산 비용 문제를 해결한다.
• 명시적인 프로젝션 없이도 제약 조건이 있는 2차 하위문제를 효율적으로 해결할 수 있도록 한다.
• 다각체 위에서 볼록 최적화에 대해 선형 최소화 오라클만을 사용하여 원래 목표 함수의 갭에서 제곱수 수렴을 달성한다.
• 고비용인 1차 및 헤시안 오라클 호출 수를 줄이면서도 빠른 수렴 속도를 유지한다.
• 선형 최적화는 효율하지만 기울기 및 헤시안 계산이 비용이 많이 드는 환경에서 실용적인 알고리즘을 제공한다.

제안 방법

• SOCGS를 제안하며, 이는 제약 조건이 있는 2차 하위문제의 근사적 해법과 조건부 그래디언트 단계를 결합한 프로젝션 프리 알고리즘이다.
• 각 반복에서 선형 최소화 오라클을 사용하여 2차 하위문제를 근사적으로 해결함으로써 고비용의 프로젝션을 피한다.
• 헤시안 정보를 통합하여 초기 선형 수렴 단계 이후 국소적으로 원래 목표 함수의 갭에서 제곱수 수렴을 달성한다.
• 하위문제 해의 정확도 요구 조건을 최적해에 접근할수록 점차 줄이는 슬라이딩 메커니즘을 적용한다.
• 타당 영역이 다각체임을 가정하여 선형 최소화 오라클의 구조를 활용하고 수렴성을 분석한다.
• 1차 오라클, 헤시안 오라클, 선형 최소화 오라클 호출 수에 따른 복잡도 한계를 설정하며, 목표 정확도 ε에 대해 로그적 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 선형 최소화 오라클만을 이용할 수 있는 프로젝션 프리 환경에서 2차 순서 수렴을 달성할 수 있는가?
• RQ2 제약 조건이 있는 2차 순서 최적화에서 ε-최적해에 도달하기 위해 필요한 최소한의 1차 및 헤시안 오라클 호출 수는 얼마인가?
• RQ3 2차 하위문제의 근사적 해법을 어떻게 효과적으로 활용하여 프로젝션 없이도 빠른 수렴을 유지할 수 있는가?
• RQ4 2차 순서 조건부 그래디언트 방법에서 하위문제 해의 정확도와 전체 수렴 속도 사이의 상충 관계는 어떠한가?
• RQ5 고비용의 기울기 및 헤시안 평가에 의존도를 줄이며 원래 목표 함수의 갭에서 제곱수 수렴을 달성할 수 있는가?

주요 결과

• 타당 영역이 다각체일 경우 SOCGS는 유한한 반복 횟수 이후에 원래 목표 함수의 갭에서 국소적으로 제곱수 수렴을 달성한다.
• 알고리즘은 ε-최적해에 도달하기 위해 O(log(log 1/ε))개의 1차 및 헤시안 오라클 호출을 필요로 한다.
• 선형 최소화 오라클 호출 수는 O(log(1/ε) log(log 1/ε))로, 오라클 복잡도 측면에서 거의 최적에 가깝다.
• 명시적인 프로젝션 없이도 선형 최소화 오라클에만 의존하여 빠른 수렴을 유지한다.
• 알고리즘이 최종 단계에 진입한 후 원래 목표 함수의 갭에서 수렴 속도가 제곱수 수준이 되어 최적해 근처에서 급격한 향상이 이루어진다.
• 기울기 및 헤시안 계산이 비용이 많이 들지만 타당 영역 위에서의 선형 최적화는 효율적인 경우에 특히 효과적이다.