[논문 리뷰] Interior-point algorithms for convex optimization based on primal-dual metrics

Tor G. J. Myklebust, Levent Tunçel|arXiv (Cornell University)|2014. 11. 08.

Advanced Optimization Algorithms Research참고 문헌 39인용 수 6

한 줄 요약

이 논문은 대수적 동차 자기-동조 장벽(logarithmically homogeneous self-concordant barrier, LHSCB)의 헤시안의 선적분을 기반으로 하는 가변 메트릭을 사용하는 새로운 원-쌍대 내부점수 알고리즘을 제안한다. 일반적인 볼록 원뿔에 대해 $ O(\theta^{1/2} \tan^{-1}(1/\theta)) $의 최고의 알려진 반복 복잡도를 달성하며, 대칭 원뿔 프로그래밍과 동일한 복잡도를 가지며, 효율적 계산을 위해 리만 기하학과 가우시안 구적법 사이의 연결 고리를 설정한다.

ABSTRACT

We propose and analyse primal-dual interior-point algorithms for convex optimization problems in conic form. The families of algorithms we analyse are so-called short-step algorithms and they match the current best iteration complexity bounds for primal-dual symmetric interior-point algorithm of Nesterov and Todd, for symmetric cone programming problems with given self-scaled barriers. Our results apply to any self-concordant barrier for any convex cone. We also prove that certain specializations of our algorithms to hyperbolic cone programming problems (which lie strictly between symmetric cone programming and general convex optimization problems in terms of generality) can take advantage of the favourable special structure of hyperbolic barriers. We make new connections to Riemannian geometry, integrals over operator spaces, Gaussian quadrature, and strengthen the connection of our algorithms to quasi-Newton updates and hence first-order methods in general.

연구 동기 및 목표

• 일반적인 볼록 최적화 문제와 임의의 볼록 원뿔에 대해 원-쌍대 내부점수 알고리즘을 개발함으로써 대칭 원뿔 프로그래밍의 결과를 확장한다.
• 대수적 동차 자기-동조 장벽(LHSCB)의 헤시안의 선적분을 기반으로 하는 새로운 원-쌍대 스케일링 맵을 도입하여 가변 메트릭 프레임워크를 가능하게 한다.
• 제안된 알고리즘이 $ O(\theta^{1/2} \tan^{-1}(1/\theta)) $의 최고의 알려진 최악의 경우 반복 복잡도를 달성함을 증명한다. 이는 대칭 원뿔 프로그래밍의 최신 기준과 일치한다.
• 내부점수 방법, 리만 기하학, 연산자 적분, 가우시안 구적법 규칙 사이의 새로운 수학적 연결 고리를 설정한다.
• 특히 하이퍼볼릭 장벽에 대해, 오차가 유한한 가우시안 구적법을 사용하여 새로운 스케일링 맵을 효율적으로 근사화하는 방법을 설계한다.

제안 방법

• 알고리즘은 원-쌍대 가변 메트릭을 기반으로 하는 뉴턴 방향을 도출한 예측-수정 예측-수정 스킴을 사용한다. 이 메트릭은 대수적 동차 자기-동조 장벽(LHSCB)의 헤시안을 기반으로 한다.
• 원-쌍대 스케일링 맵은 현재 반복점에서 중심 경로까지의 경로를 따라 헤시안의 선적분으로 정의되며, 국소 곡률에 적응하는 리만 메트릭을 형성한다.
• 낮은 랭크 업데이트를 사용하여 적분 스케일링 맵을 근사화하며, 자가-동조성과 연산자 노름 제어를 통해 오차 한계를 도출한다.
• 하이퍼볼릭 장벽의 경우, 적분 스케일링 맵을 가우시안 구적법 규칙(예: 가우스-레지온드르)을 사용하여 근사화하며, 오차 한계는 구적법의 순서와 탐색 방향의 노름에 따라 달라진다.
• 자기-동조 장벽의 가정 하에 분석을 수행하며, 딕린 타원체 포함성과 헤시안의 리프시츠 연속성 등의 성질을 활용한다.
• 분석은 새로운 메트릭이 준-뉴턴 업데이트 및 1차 방법과의 연결 고리를 강화하며, 내부점수와 준-뉴턴 프레임워크 간의 관계를 강화한다.

실험 결과

연구 질문

• RQ1 일반적인 볼록 원뿔에 대한 원-쌍대 내부점수 방법이 자가-동조 장벽만을 사용하여 대칭 원뿔 프로그래밍과 동일한 반복 복잡도를 달성할 수 있는가?
• RQ2 장벽 함수의 헤시안을 기반으로 하는 가변 메트릭을 어떻게 구성하고, 내부점수 알고리즘에서 효율적으로 근사화할 수 있는가?
• RQ3 적분 기반 원-쌍대 스케일링 맵을 계산하기 위해 가우시안 구적법을 사용할 경우의 근사 오차는 얼마이며, 수렴에 어떤 영향을 미치는가?
• RQ4 새로운 스케일링 맵과 메트릭은 볼록 최적화의 맥락에서 리만 기하학과 연산자 이론과 어떻게 연결되는가?
• RQ5 초기 근사값이 중심 경로에 가까운 경우, 적분 스케일링 맵에 대한 낮은 랭크 업데이트가 수렴 성질과 반복 복잡도를 유지할 수 있는가?

주요 결과

• 제안된 예측-수정 알고리즘은 $ O(\theta^{1/2} \tan^{-1}(1/\theta)) $의 반복 복잡도를 달성하며, 이는 대칭 원뿔 프로그래밍의 최고의 알려진 경계와 일치한다. 여기서 $ \theta $는 장벽 매개변수이다.
• 헤시안의 선적분으로 정의된 새로운 원-쌍대 스케일링 맵은 가변 메트릭을 제공하며, 딕린 타원체를 일반화하고 리만 기하학과의 연결 고리를 풍부하게 한다.
• 하이퍼볼릭 장벽의 경우, 적분 스케일링 맵은 가우스-레지온드르 구적법을 사용하여 근사할 수 있으며, 오차 한계는 $ \frac{1}{(1 - \norm{\nabla_P}_{x})^2} \norm{\nabla_P}_{x}^{2k} $ 형태를 띤다. 여기서 $ k $는 구적법의 순서이다.
• 중심 경로에 가까운 경우, 적분 스케일링 맵에 대한 낮은 랭크 업데이트는 초기 근사값이 충분히 정확할 경우 작은 노름을 유지한다.
• 논문은 공액 장벽(conjugate barrier)이 원래 장벽의 오라클을 통해 계산될 수 있으며, 비가능 시작 또는 자기-쌍대 임bedding 방법에서 최악의 경우 반복 복잡도가 악화되지 않음을 입증한다.
• 분석은 새로운 메트릭과 준-뉴턴 업데이트 사이의 깊은 연결 고리를 드러내며, 내부점수 방법이 곡률 기반 단계를 갖는 적응형 준-뉴턴 방법으로 해석될 수 있음을 시사한다.