[논문 리뷰] A Polynomial-Time Affine-Scaling Method for Semidefinite and Hyperbolic Programming

James Renegar, Mutiara Sondjaja|arXiv (Cornell University)|2014. 10. 24.

Advanced Optimization Algorithms Research참고 문헌 18인용 수 4

한 줄 요약

이 논문은 대칭 원뿔을 초월하여 반정적 및 초구형 프로그래밍에 대해 다항 시간 복잡도를 갖는 애핀-스케일링 방법을 제안한다. 이는 딕킨의 원래 알고리즘을 초월하여 비대칭 원뿔, 특히 초구성 원뿔에까지 확장한다. 새로운 장벽 함수와 중심 경로의 이차 다항식에 의한 유리 근사 방법을 사용함으로써 대칭성에 의존하지 않고도 최고의 알려진 복잡도 한계를 달성하며, 비대칭 원뿔에 대해 처음으로 다항 시간 애핀-스케일링 알고리즘을 제공한다.

ABSTRACT

We develop a natural variant of Dikin's affine-scaling method, first for semidefinite programming and then for hyperbolic programming in general. We match the best complexity bounds known for interior-point methods. All previous polynomial-time affine-scaling algorithms have been for conic optimization problems in which the underlying cone is symmetric. Hyperbolicity cones, however, need not be symmetric. Our algorithm is the first polynomial-time affine-scaling method not relying on symmetry.

연구 동기 및 목표

• 딕킨의 애인-스케일링 방법을 대칭 원뿔을 초월하여 초구형 프로그래밍으로 확장하기.
• 반정적 및 초구형 프로그래밍에 대해 최고의 알려진 내부점법 복잡도 한계를 달성하는 다항 시간 알고리즘 개발.
• 이전의 모든 다항 시간 애인-스케일링 알고리즘에서 필수적이었던 대칭 원뿔 성질에 대한 의존성 제거.
• 계산적으로 효율적이고 개념적으로 단순한 알고리즘 제공 — 비대칭 원뿔 최적화로 애인-스케일링 아이디어 일반화.
• 새로운 장벽 함수와 중심 경로의 유리 근사를 사용하여 이론적 수렴 보장을 확립하기.

제안 방법

• 선형 프로그래밍 장벽 함수를 초구형 다항식에 대한 로그 장벽 함수 $ f(x) = -\ln p(x) $ 로 대체하여 딕킨의 애인-스케일링 프레임워크를 적응시킴.
• 현재 반복점 중심의 딕킨 유사 타원체 내에 반복점을 제약하기 위해 $ \|\cdot\|_e $-노름을 사용하는 새로운 타원체 이웃 영역 정의, 여기서 $ \|v\|_e^2 = \sum_j \frac{v_j^2}{e_j^2} $.
• 헬튼-빈니코프 정리를 통해 유도된 이차 다항식 $ \tilde{q}(t) $ 를 통한 스텝 계산을 도입하여 쌍대 타당성 유지를 하고 진전을 통제함.
• 중심 경로의 유리 근사를 이차 다항식을 통해 수행하여 다음 반복점이 탇행 영역 내에 머물도록 보장함.
• 타당성을 유지하고 장벽 함수의 충분한 감소를 보장하기 위해 수정된 장벽 기반 방향 탐색을 적용함.
• 다항식 $ \tilde{q}(t) $ 를 기반으로 한 선형 탐색 전략을 사용하여 최적화 향한 진전을 보장하면서 타당성을 유지하는 스텝 크기 결정함.

실험 결과

연구 질문

• RQ1 딕킨의 애인-스케일링 방법은 비대칭 원뿔, 예를 들어 초구성 원뿔에 대해 다항 시간 복잡도를 유지하면서 일반화될 수 있는가?
• RQ2 기본적인 프라이멀-듀얼 경로추종 방식을 피하면서 순수한 애인-스케일링 접근법으로 반정적 및 초구형 프로그래밍에 대해 최고의 알려진 복잡도 한계를 달성할 수 있는가?
• RQ3 이차 다항식을 사용한 중심 경로의 유리 근사를 통해 쌍대 타당성과 수렴성을 보장할 수 있는가?
• RQ4 초구성 원뿔에서 대칭성이 결여되어 있어도 애인-스케일링 방법을 사용할 수 없을까, 아니면 별도의 장벽 함수와 스텝 규칙이 다항 시간 성능을 복원할 수 있는가?
• RQ5 핵심 부등식 $ \tilde{q}(t) < \frac{1}{n - \beta^2} $ 는 계산적으로 효율적이고 전역 수렴성을 보장하는 스텝 크기 선택 규칙을 정의하는 데 사용될 수 있는가?

주요 결과

• 제안된 알고리즘은 반정적 및 초구형 프로그래밍에 대해 표준 내부점법과 동일한 최고의 알려진 다항 시간 복잡도 한계를 달성한다.
• 이 방법은 대칭 원뿔이 필요하지 않은 초구형 프로그래밍에 대해 처음으로 다항 시간 애인-스케일링 알고리즘을 제공한다.
• 장벽 함수 $ f(x) = -\ln p(x) $ 와 이차 근사 $ \tilde{q}(t) $ 의 사용으로 다음 반복점이 엄밀히 타당하고 최적화 향한 충분한 진전을 이룬다.
• 알고리즘은 $ \tilde{q}(t) < \frac{1}{n - \beta^2} $ 를 보장함으로써 쌍대 타당성을 유지하며, 이는 수렴에 충분하고 효율적으로 검증 가능하다.
• 중심 경로를 근사하는 데 유리 함수를 도출하기 위해 헬튼-빈니코프 정리를 새로운 방식으로 적용한 것이 증명의 핵심이며, 이는 타당한 스텝 계산을 가능하게 한다.
• 대칭 원뿔이나 자가 스케일링 장벽이 필요 없음을 입증하여, 다항 시간 수렴이 별도의 장벽 및 스텝 크기 메커니즘을 통해 달성될 수 있음을 보여준다.