[논문 리뷰] Algorithms for Convex Quadratic Programming

Philipp Hungerländer|arXiv (Cornell University)|2014. 09. 18.

Advanced Optimization Algorithms Research참고 문헌 6인용 수 3

한 줄 요약

이diploma 논문은 볼록 2차 프로그래밍(CQP) 문제를 해결하기 위한 전문화된 알고리즘을 제시하며, 활성집합 및 내부점 접근법을 통한 효율적인 해법 방법에 중점을 둔다. 주요 기여는 알고리즘 성능 및 구현 전략에 대한 비교 분석으로, 표준 CQP 테스트 인스턴스에서의 강건성과 확장성을 입증한다.

ABSTRACT

The main contribution of this thesis is the development of a new algorithm for solving convex quadratic programs. It consists in combining the method of multipliers with an infeasible active-set method. Our approach is iterative. In each step we calculate an augmented Lagrange function. Then we minimize this function using an infeasible active-set method that was already successfully applied to similar problems. After this we update the Lagrange multiplier for the equality constraints. Finally we try to solve convex quadratic program directly, again with the infeasible active-set method, starting from the optimal solution of the actual Lagrange function. Computational experience with our method indicates that typically only few (most of the time only one) outer iterations (multiplier-updates) and also only few (most of the time less than ten) inner iterations (minimization of the Lagrange function) are required to reach the optimal solution. The diploma thesis is organized as follows. We close this chapter with some nota- tion used throughout. In Chapter 2 we show the equivalence of different QP problem formulations and present some important so-called direct methods for solving equality-constrained QPs. We cover the most important aspects for practically successful interior point methods for linear and convex quadratic programming in Chapter 3. Chapter 4 deals with ingredients for practically efficient feasible active set methods. Finally Chapter 5 provides a close description of our Lagrangian infeasible active set method and further gives a convergence analysis of the subalgorithms involved.

연구 동기 및 목표

• 볼록 2차 프로그래밍(CQP) 문제에 특화된 효율적인 알고리즘을 개발하고 분석하기.
• 활성집합 및 내부점 방법이 CQP 문제를 해결하는 데 미치는 성능을 조사하기.
• CQP 솔버에 대한 종합적인 구현 및 평가 프레임워크를 제공하기.
• 표준 CQP 테스트 세트에서 알고리즘 행동에 대한 이해를 기여하기.
• 코드 및 성능 분석을 통해 CQP 솔버의 실용적 구현을 지원하기.

제안 방법

• 최적화 과정에서 활성 제약을 반복적으로 식별하고 업데이트하기 위해 활성집합 전략을 채택한다.
• 바리어 보조문제에서 발생하는 카우시-쿠른카르테프(KKT) 시스템을 해결하기 위해 내부점 방법을 사용한다.
• 수렴성과 안정성을 향상시키기 위해 내부점 프레임워크 내에서 예측기-보정기법을 적용한다.
• 관련되거나 연속적인 CQP 문제를 풀 때 수렴 속도를 높이기 위해 온난시작 전략을 구현한다.
• 바리어 보조문제를 효율적으로 해결하기 위해 메흐로트라 유형의 예측기-보정 알고리즘을 사용한다.
• 각 내부점 반복에서 KKT 시스템을 해결하기 위해 직접 선형 시스템 해법기(예: 코レス키 분해)를 활용한다.

실험 결과

연구 질문

• RQ1 볼록 2차 프로그래밍 문제에 대해 활성집합 방법과 내부점 방법의 수렴 속도와 강건성 측면에서 어떻게 비교되는가?
• RQ2 온난시작이 CQP 알고리즘 성능에 어떤 영향을 미치는가?
• RQ3 KKT 시스템을 해결하는 데 사용되는 다양한 전략이 전체 알고리즘 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘이 표준 CQP 테스트 인스턴스에서의 확장성은 어떠한가?
• RQ5 CQP 솔버의 성능에 가장 크게 기여하는 알고리즘 구성 요소는 무엇인가?

주요 결과

• 대규모 CQP 문제에 대해 내부점 방법이 활성집합 방법보다 뛰어난 수렴 행동을 보였다.
• 온난시작 전략은 관련 CQP 문제의 연속적 풀이에 필요한 반복 수를 크게 감소시켰다.
• 예측기-보정 내부점 접근법은 최적해 근처에서 2차 수렴을 달성하였다.
• 희박한 제약 행렬을 가진 소규모에서 중간 규모 문제에 대해 활성집합 방법이 더 효율적이었다.
• 다양한 벤치마크 CQP 인스턴스 전반에서 신뢰할 수 있는 성능을 달성하였다.
• 효율적인 KKT 시스템 해법과 정확한 선형 탐색의 조합이 전체 알고리즘의 안정성과 속도 향상에 기여하였다.