[논문 리뷰] A one-phase interior point method for nonconvex optimization

Oliver Hinder, Yinyu Ye|arXiv (Cornell University)|2018. 01. 09.

Advanced Optimization Algorithms Research참고 문헌 33인용 수 10

한 줄 요약

이 논문은 페널티 또는 이단계 방법을 피하기 위해 스레드 변수를 정교하게 초기화하고 업데이트하여 국소 최적성, 비가능성 또는 무boundness에 대한 전역 수렴을 보장하는 비볼록 최적화를 위한 단일단계 내부점 방법을 제안한다. 이 방법은 장벽 매개수와 동일한 비율로 원본 타당성과 보완성을 유지하며, CUTEst 문제에서 9%의 실패율을 기록하여 IPOPT의 16%보다 뛰어난 강건성을 확보한다.

ABSTRACT

The work of Wachter and Biegler suggests that infeasible-start interior point methods (IPMs) developed for linear programming cannot be adapted to nonlinear optimization without significant modification, i.e., using a two-phase or penalty method. We propose an IPM that, by careful initialization and updates of the slack variables, is guaranteed to find a first-order certificate of local infeasibility, local optimality or unboundedness of the (shifted) feasible region. Our proposed algorithm differs from other IPM methods for nonconvex programming because we reduce primal feasibility at the same rate as the barrier parameter. This gives an algorithm with more robust convergence properties and closely resembles successful algorithms from linear programming. We implement the algorithm and compare with IPOPT on a subset of CUTEst problems. Our algorithm requires a similar median number of iterations, but fails on only 9% of the problems compared with 16% for IPOPT. Experiments on infeasible variants of the CUTEst problems indicate superior performance for detecting infeasibility. The code for our implementation can be found at https://github.com/ohinder/OnePhase .

연구 동기 및 목표

• Wächter와 Biegler(2000)가 지적한 것처럼, 비볼록 문제에서 비가능 시작 내부점 방법(IPMs)이 비가능성 또는 최적성으로의 수렴을 신뢰성 있게 탐지하지 못하는 문제를 해결하기 위해.
• 페널티 방법이나 IPOPT의 타당성 복원 단계를 포함한 이단계 알고리즘과 같은 복잡성과 수치적 문제를 피하는 단일단계 IPM을 개발하기 위해.
• 일반 조건 하에 국소 최적성, 비가능성 또는 무boundness에 대한 제1차 조건을 전역적으로 수렴하도록 보장하기 위해.
• 장벽 매개수와 동일한 비율로 원본 타당성과 보완성을 유지하여 성공적인 선형 프로그래밍 IPMs를 모방하기 위해.
• 비볼록 테스트 문제에서 비가능성 탐지 능력 향상과 실패율 감소를 위한 강건성 향상하기 위해.

제안 방법

• 알고리즘은 $ a(x^0) + s^0 = w\mu^0 $ 를 만족하도록 스레드 변수를 초기화하여, 이동된 장벽 문제의 타당성이 초기 단계부터 보장된다.
• 반복 과정 전반에 걸쳐 $ a(x) + s = w\mu $ 를 유지함으로써, 이동된 장벽 문제에 대한 원본 타당성이 보장된다.
• 기울기 노름, 보완성 및 이중 변수 행동을 바탕으로, 공격적 단계와 안정화 단계를 결정하는 스위칭 조건(20)을 사용한다.
• KKT 오차가 작고 보완성이 잘 조절되어 있을 경우 공격적 단계를 취하며, 그렇지 않으면 $ \delta = \delta_{\min} $ 를 사용하는 안정화 단계를 취한다.
• 장벽 매개수 $ \mu $ 는 시간이 지남에 따라 감소하며, 스레드 변수는 $ s^T y \approx \mu $ 를 유지하도록 업데이트된다.
• 정지 기준은 KKT 오차($ \Gamma_{\text{far}} $), 비가능성($ \Gamma_{\text{inf}} $), 무boundness($ \|x\|_\infty^{-1} \geq \epsilon_{\text{unbd}} $) 기반으로 설정된다.

실험 결과

연구 질문

• RQ1 페널티 또는 이단계 기반 방법 없이 비볼록 최적화를 위한 단일단계 내부점 방법을 설계할 수 있는가?
• RQ2 스레드 변수의 초기화 및 업데이트는 어떻게 최적성, 비가능성 또는 무boundness 조건으로의 강력한 수렴을 보장할 수 있는가?
• RQ3 장벽 매개수와 동일한 비율로 원본 타당성과 보완성을 유지하는 것이 비볼록 환경에서 수렴 강건성 향상에 기여하는가?
• RQ4 이러한 방법은 실패율과 비가능성 탐지 능력 측면에서 IPOPT와 같은 기존 솔버를 능가할 수 있는가?
• RQ5 알고리즘이 국소 최적성, 비가능성 또는 무boundness에 대한 제1차 조건을 수렴하기 위해 보장하는 조건은 무엇인가?

주요 결과

• 제안된 알고리즘은 CUTEst 문제에서 9%의 실패율을 기록하여 IPOPT의 16%보다 뛰어난 강건성을 입증한다.
• 알고리즘은 CUTEst 문제의 비가능한 변형에서 비가능성을 성공적으로 탐지하며, 이와 관련하여 IPOPT를 능가한다.
• 반복 수의 중앙값은 IPOPT와 유사하여, 개선된 강건성에도 불구하고 유사한 수렴 속도를 보인다.
• 일반 조건 하에 국소 최적성, 비가능성 또는 무boundness에 대한 제1차 조건으로의 수렴을 보장한다.
• 페널티 매개수나 타당성 복원 단계가 필요 없어져 구현을 단순화하고 수치적 문제를 감소시킨다.
• $ \Gamma_{\text{far}} $, $ \Gamma_{\text{inf}} $, 및 $ \epsilon_{\text{unbd}} $ 를 기반으로 한 정지 기준은 최적성, 비가능성 및 무boundness를 효과적으로 탐지한다.