[논문 리뷰] On the behavior of Lagrange multipliers in convex and non-convex infeasible interior point methods

Gabriel Haeser, Oliver Hinder외 1명|arXiv (Cornell University)|2017. 07. 23.

Advanced Optimization Algorithms Research참고 문헌 38인용 수 7

한 줄 요약

이 논문은 볼록 및 비볼록 최적화 문제에 대한 불가능 내점법(IPMs)에서 라그랑주 승수의 행동을 분석한다. KKT 점이 존재할 경우, 원천 불가능성의 감소율을 장벽 매개변수 μ와 일치시키면 유계이면서 엄밀한 보완성을 확보할 수 있음을 증명한다. 이 통찰은 IPOPT에서 발생하는 실용적 문제를 설명하고, 힌더와 예의 일단계 IPM을 검증한다.

ABSTRACT

We analyze sequences generated by interior point methods (IPMs) in convex and nonconvex settings. We prove that moving the primal feasibility at the same rate as the barrier parameter $μ$ ensures the Lagrange multiplier sequence remains bounded, provided the limit point of the primal sequence has a Lagrange multiplier. This result does not require constraint qualifications. We also guarantee the IPM finds a solution satisfying strict complementarity if one exists. On the other hand, if the primal feasibility is reduced too slowly, then the algorithm converges to a point of minimal complementarity; if the primal feasibility is reduced too quickly and the set of Lagrange multipliers is unbounded, then the norm of the Lagrange multiplier tends to infinity. Our theory has important implications for the design of IPMs. Specifically, we show that IPOPT, an algorithm that does not carefully control primal feasibility has practical issues with the dual multipliers values growing to unnecessarily large values. Conversely, the one-phase IPM of \citet*{hinder2018one}, an algorithm that controls primal feasibility as our theory suggests, has no such issue.

연구 동기 및 목표

• 볼록 및 비볼록 최적화 문제에 대한 불가능 내점법(IPMs)에서 라그랑주 승수의 행동을 이해하는 것.
• 특히 MFCQ와 같은 제약 조건 충족도가 실패할 경우에도 이중 승수가 수렴하는 조건을 규명하는 것.
• IPOPT와 같은 솔버에서 이중 승수가 과도하게 증가하는 실용적 문제를 설명하는 것.
• 원천 불가능성 감소율을 장벽 매개변수 μ에 상대적으로 제어하는 것이 안정적인 이중 반복값을 확보하는 데 핵심적임을 보여주는 것.
• 힌더와 예의 일단계 IPM이 불가능성과 μ 감소율을 일치시킴으로써 이러한 문제들을 피할 수 있음을 보여주는 것.

제안 방법

• 슬랙 변수 s ≥ 0 와 함께 로그-바리어 문제 형태로 생성된 IPM의 수열을 분석한다.
• 원천 불가능성 감소율을 장벽 매개변수 μ와 일치시키면 이중 승수 수열이 유계임을 보장하는 이론적 조건을 수립한다.
• 중앙경로 프레임워크를 사용하고 제약 조건 충족도를 요구하지 않고 KKT 점으로 수렴하는 것을 연구한다.
• 원천 불가능성이 μ와 같은 비율로 감소하면 이중 승수가 유계이고 엄밀한 보완성이 달성됨을 증명하기 위해 이론을 적용한다.
• IPOPT와 NETLIB, 물망설계 문제를 포함한 테스트 문제에서의 수치 결과와 이론적 예측을 비교한다.
• 수치 실험을 통해 이론적 발견을 검증하며, 반복 과정에서 최대 이중 노름과 엄밀한 보완성을 측정한다.

실험 결과

연구 질문

• RQ1 비볼록 문제에 대한 불가능 내점법에서 라그랑주 승수가 언제 유계로 유지되는가?
• RQ2 원천 불가능성이 장벽 매개변수 μ에 비해 다른 비율로 감소할 경우 이중 승수 행동에 어떤 영향을 미치는가?
• RQ3 비볼록 문제에서 불가능 내점법을 사용해 엄밀한 보완성을 달성할 수 있는가, 그리고 어떤 조건에서 가능한가?
• RQ4 왜 IPOPT와 같은 솔버에서 실질적으로 이중 승수가 무한대에 수렴하는가, 그리고 이를 어떻게 방지할 수 있는가?
• RQ5 힌더와 예의 일단계 IPM은 표준 구현에 비해 이중 승수 폭주 문제를 어떻게 피하는가?

주요 결과

• 원천 불가능성이 장벽 매개변수 μ와 같은 비율로 감소하면, KKT 점이 존재할 경우 라그랑주 승수 수열은 유계로 유지된다.
• 해결책이 존재할 경우, 비볼록 환경에서도 엄밀한 보완성을 만족하는 해로 수렴한다.
• 원천 불가능성이 너무 느리게 감소하면, 최소 보완성 점으로 수렴하며 이중 승수는 유계가 아니게 된다.
• 원천 불가능성이 너무 빨리 감소하고 라그랑주 승수 집합이 무한대일 경우, 이중 승수의 노름은 무한대로 간다.
• 수치 결과에 따르면 IPOPT는 특정 문제에서 이중 승수 값이 최대 6.6×10⁹까지 증가하여 불안정성을 보였다.
• 힌더와 예의 일단계 IPM은 이중 승수를 유계로 유지한다 (최대 ∞-노름 ≈ 1.7)며, IPOPT에서 관찰된 문제들을 피함으로써 이론적 프레임워크를 검증한다.