[논문 리뷰] Worst-case iteration bounds for log barrier methods on problems with nonconvex constraints

Oliver Hinder, Yinyu Ye|arXiv (Cornell University)|2018. 07. 01.

Advanced Optimization Algorithms Research참고 문헌 44인용 수 5

한 줄 요약

이 논문은 비볼록 제약 조건을 가진 비선형 최적화 문제를 위한 새로운 내점법(IPM)을 제안한다. 이 방법은 로그 바리어 보조문제를 풀기 위해 트러스트 영역 접근법을 사용한다. μ-근사 프리츠 존 포인트를 찾는 데 있어 처음으로 O(μ⁻⁷/⁴)의 다항식 반복 수계산 한계를 확립하였으며, 이는 비볼록 IPM의 복잡도 보장을 크게 향상시키고, 표준 제약 조건 만족 조건 하에서 KKT 점으로의 전역 수렴을 가능하게 한다.

ABSTRACT

Interior point methods (IPMs) that handle nonconvex constraints such as IPOPT, KNITRO and LOQO have had enormous practical success. We consider IPMs in the setting where the objective and constraints are thrice differentiable, and have Lipschitz first and second derivatives on the feasible region. We provide an IPM that, starting from a strictly feasible point, finds a $μ$-approximate Fritz John point by solving $\mathcal{O}( μ^{-7/4})$ trust-region subproblems. For IPMs that handle nonlinear constraints, this result represents the first iteration bound with a polynomial dependence on $1/μ$. We also show how to use our method to find scaled-KKT points starting from an infeasible solution and improve on existing complexity bounds.

연구 동기 및 목표

• 비볼록 제약 조건을 가진 문제에서 이전 방법들이 1/μ에 대한 다항식 의존성이 부족했던 점을 감안해, 내점법(IPM)의 최악의 경우 반복 복잡도 간극을 메우기 위해.
• 표준 부드러움 및 리프시츠 미분 가능성 가정 하에, 증명 가능한 반복 수계산 한계를 갖는 전역 수렴 내점법을 개발하여 μ-근사 프리츠 존 점을 찾기 위해.
• 시작점이 타당하지 않은 경우에도 처리할 수 있도록 방법을 확장하고, 스케일링된 KKT 점을 찾는 데 있어 복잡도 한계를 향상시키기 위해.
• 실제로 성공하는 실용적 IPM들인 IPOPT, KNITRO, LOQO 등의 이론적 기초를 제공하기 위해.

제안 방법

• 불등식 제약 조건을 처리하기 위해 로그 바리어 함수 ψμ(x) = f(x) − μ∑log(ai(x))를 사용하며, μ는 중심 경로 파라미터이다.
• 각 반복에서 충분한 감소를 보장하고 전역 수렴을 확보하기 위해 헤시안 행렬의 이차 정보를 활용한 트러스트 영역 보조문제를 풀며.
• 엄격한 타당성을 유지하고, 백트래킹 규칙을 사용한 선형 탐색을 통해 최적성 향상에 진전을 보인다.
• 엄격한 타당한 점에서 시작하며, 두 단계 전략을 사용한다: 1단계는 비타당성을 줄이고, 2단계는 최적성을 향상시킨다.
• 정확한 산술 연산 하에서 트러스트 영역 보조문제는 O(n³) 연산으로 정확히 풀 수 있으며, 이는 이론적 복잡도 분석을 가능하게 한다.
• 로그 바리어와 그 헤시안의 구조를 활용하여, 기울기와 헤시안의 리프시츠 연속성에 기반해 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 비볼록 문제에 대해 IPM의 최악의 경우 반복 수계산 한계를 1/μ에 대한 다항식 의존성으로 확립할 수 있는가?
• RQ2 로그 바리어 보조문제에 대해 트러스트 영역 접근법이 기존 방법보다 약한 KKT 또는 프리츠 존 점 근사치를 찾는 데 있어 더 나은 복잡도를 제공할 수 있는가?
• RQ3 μ가 0으로 수렴할 때, 망가리아리안-프롬프티 제약 조건이 만족될 경우 방법이 KKT 점으로 수렴하는가?
• RQ4 시작점이 비타당하지 않은 경우에도 유리한 복잡도 한계를 유지하면서 방법을 적응시킬 수 있는가?
• RQ5 보조문제의 부분최적성 파rameter에서 비타당성과 최적성 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 이 방법은 O(μ⁻⁷/⁴)의 트러스트 영역 보조문제를 통해 μ-근사 프리츠 존 점을 찾으며, 이는 비볼록 IPM에 대해 처음으로 다항식 반복 수계산 한계를 확립한 것이다.
• μ → 0일 때, 수렴하는 임의의 근사해 수열은 망가리아리안-프롬프티 제약 조건이 극한에서 만족될 경우 KKT 점으로 수렴한다.
• 특히 비타당한 반복에서 시작할 경우, 스케일링된 KKT 점을 찾는 데 있어 기존 복잡도 한계를 향상시킨다.
• ε-최적 및 ε-비타당성 해를 찾는 데 있어 복잡도 한계 O(ε_opt⁻² ε_inf⁻³/₂)를 달성하였으며, 이는 이전 방법보다 향상된 것이다.
• 트러스트 영역 보조문제는 정확한 산술 연산 하에서 O(n³)의 산술 연산으로 정확히 풀 수 있으며, 엄밀한 복잡도 분석을 가능하게 한다.
• 이 방법은 초기화에 대해 강건하며, 비타당한 점에서 시작하더라도 여전히 전역 수렴을 유지한다.