[논문 리뷰] Quasi-Newton approaches to Interior Point Methods for quadratic problems

Jacek Gondzio, F. N. C. Sobral|arXiv (Cornell University)|2018. 06. 26.

Matrix Theory and Algorithms인용 수 3

한 줄 요약

이 논문은 퀼-뉴턴 방법을 이용해 이차계획문제를 위한 내부점법(IPMs)을 제안하며, 카우시-카르판-타크(KKT) 시스템의 야코비안을 랭크-원 세컨드 업데이트를 사용해 근사함으로써, 비용이 많이 드는 분해를 더 저렴한 역대입법으로 대체함. 이 방법은 행렬 분해의 횟수를 줄이며, 특히 분해 비용이 지배적인 경우에 매우 효과적임을 보이며, 이차배치문제에서 더 높은 효율성을 보임.

ABSTRACT

Interior Point Methods (IPM) rely on the Newton method for solving systems of nonlinear equations. Solving the linear systems which arise from this approach is the most computationally expensive task of an interior point iteration. If, due to problem's inner structure, there are special techniques for efficiently solving linear systems, IPMs enjoy fast convergence and are able to solve large scale optimization problems. It is tempting to try to replace the Newton method by quasi-Newton methods. Quasi-Newton approaches to IPMs either are built to approximate the Lagrangian function for nonlinear programming problems or provide an inexpensive preconditioner. In this work we study the impact of using quasi-Newton methods applied directly to the nonlinear system of equations for general quadratic programming problems. The cost of each iteration can be compared to the cost of computing correctors in a usual interior point iteration. Numerical experiments show that the new approach is able to reduce the overall number of matrix factorizations and is suitable for a matrix-free implementation.

연구 동기 및 목표

• 대규모 이차계획문제를 위한 내부점법(IPMs)에서 행렬 분해의 높은 계산 비용을 해결하기 위해.
• 뉴턴 기반의 선형 해법을 퀼-뉴턴 업데이트로 대체하여 고비용 분해 횟수를 줄이기 위해.
• 행렬을 사용하지 않고도 구조를 유지하는 퀼-뉴턴 방법을 개발하여, 원래의 KKT 시스템의 흐트러짐 없이 희박성과 구조를 유지하기 위해.
• 낮은 랭크의 야코비안 근사가 표준 예측-수정자 IPM 반복보다 분해 횟수와 CPU 시간 측면에서 동등하거나 슈퍼어리어할 수 있는지 조사하기 위해.

제안 방법

• 함수 평가값을 기반으로 한 랭크-원 세컨드 업데이트를 사용해 KKT 시스템의 야코비안 행렬 $ J(x, \nu, z) $ 를 근사함. 브로이든 방법에 영감을 받음.
• 각 반복에서 유일하게 최신 반복값을 사용해 야코비안 근사치를 업데이트함으로써, 반복당 다수의 함수 평가가 필요로 하는 것을 방지함.
• 원래의 KKT 행렬의 흐트러짐과 블록 구조를 유지함으로써 계산 효율성을 확보함.
• quil-뉴턴 시스템 해법을 IPM 프레임워크에 통합하여, 표준 수정자 단계를 퀸-뉴턴 업데이트로 대체함. 계산 비용은 표준 수정자 단계의 하나와 유사함.
• Broyden의 '나쁜' 업데이트를 사용해 HOPDM 솔버를 수정하여, 행렬의 구조를 유지하도록 적응함.
• 단 한 번의 분해 후에 역대입법을 통해 결과 선형 시스템을 해결함으로써 반복적인 분해를 최소화함.

실험 결과

연구 질문

• RQ1 랭크-원 업데이트를 기반으로 한 퀸-뉴턴 접근법이 수렴성을 훼손하지 않으면서 이차계획문제를 위한 IPMs에서 행렬 분해 횟수를 줄일 수 있는가?
• RQ2 함수 평가를 통한 KKT 시스템의 야코비안 근사가 분해 비용이 지배적인 경우에 전체 해법 시간을 단축시키는가?
• RQ3 낮은 랭크의 퀸-뉴턴 근사가 원래의 KKT 행렬의 구조적 성질을 얼마나 잘 유지하는가?
• RQ4 어떤 문제 유형에서 퀸-뉴턴 IPM이 CPU 시간과 분해 횟수 측면에서 표준 예측-수정자 IPM을 능가하는가?
• RQ5 반복적인 분해를 피하기 위해 이 방법을 효과적으로 행렬을 사용하지 않는 방식으로 구현할 수 있는가?

주요 결과

• 제안된 퀸-뉴턴 IPM은 표준 IPM 구현 대비 대부분의 테스트 문제에서 행렬 분해 횟수를 줄임.
• QAP 테스트 세트에서 분해 횟수의 감소가 일관되게 CPU 시간 감소로 이어졌으며, 이는 분해 비용이 높을 경우에 메서드의 효율성을 시사함.
• 특히 분해 비용이 런타임을 지배하는 문제에서는 분해 횟수가 현저히 줄어들었음에도 불구하고 표준 IPM과 유사한 성능을 달성함.
• 브로이든 기반 업데이트는 원래 KKT 행렬의 흐트러짐과 블록 구조를 유지하여 효율적인 역대입법을 가능하게 함.
• 퀸-뉴턴 시스템을 해결하는 데 드는 계산 비용은 표준 IPM에서 한 개의 수정자 단계를 계산하는 것과 유사함.
• 특히 분해 비용이 역대입법 비용보다 높은 문제, 예를 들어 대규모 이차배치 문제에서는 이 메서드가 특히 유망함.