[논문 리뷰] DuQuad: an inexact (augmented) dual first order algorithm for quadratic programming

Ion Necoara, Andrei Pătraşcu|arXiv (Cornell University)|2015. 04. 22.

Advanced Optimization Algorithms Research참고 문헌 7인용 수 4

한 줄 요약

이 논문은 복소수 제약 조건을 처리하기 위해 보강된 라그랑주 승수 기법을 사용하는 볼록 2차 계획 문제를 위한 비정확 이중 선형 순환 알고리즘인 DuQuad를 소개한다. DuQuad는 행렬-벡터 곱셈에만 의존함으로써 낮은 반복 복잡도와 낮은 메모리 사용량을 달성하며, 효율적인 비정확 기울기 계산과 동적 Matlab 통합을 통해 일부 문제에서 최신 기술적 솔버들을 능가한다.

ABSTRACT

In this paper we present the solver DuQuad specialized for solving general convex quadratic problems arising in many engineering applications. When it is difficult to project on the primal feasible set, we use the (augmented) Lagrangian relaxation to handle the complicated constraints and then, we apply dual first order algorithms based on inexact dual gradient information for solving the corresponding dual problem. The iteration complexity analysis is based on two types of approximate primal solutions: the primal last iterate and an average of primal iterates. We provide computational complexity estimates on the primal suboptimality and feasibility violation of the generated approximate primal solutions. Then, these algorithms are implemented in the programming language C in DuQuad, and optimized for low iteration complexity and low memory footprint. DuQuad has a dynamic Matlab interface which make the process of testing, comparing, and analyzing the algorithms simple. The algorithms are implemented using only basic arithmetic and logical operations and are suitable to run on low cost hardware. It is shown that if an approximate solution is sufficient for a given application, there exists problems where some of the implemented algorithms obtain the solution faster than state-of-the-art commercial solvers.

연구 동기 및 목표

• 저비용 하드웨어에 적합한 경량이고 효율적인 볼록 2차 계획 문제(solvers) 개발
• 복잡한 원천 탇기 가능 영역에 대한 투영 문제를 보강된 라그랑주 승수 기법을 통해 해결
• 비정확 이중 기울기 정보를 사용하는 이중 선형 순환 방법을 구현하여 계산 근사에 의한 수렴 보장
• 기본 산술 연산과 행렬-벡터 곱셈에만 의존함으로써 계산 복잡도와 메모리 사용량 최소화
• 간편한 벤치마킹과 알고리즘 분석을 위한 동적 Matlab 인터페이스를 갖춘 실용적이고 오픈소스 도구 제공

제안 방법

• 어려운 원천 제약 조건을 단순한 제약 조건을 가진 이중 하위문제로 변환하기 위해 (보강된) 라그랑주 승수 기법 적용
• 비정확 이중 기울기 정보를 선형 순환 이중 알고리즘에 사용하며, 원천 최종 반복값과 평균 원천 반복값을 기반으로 수렴 분석 수행
• 기본 산술 연산과 행렬-벡터 곱셈에만 의존하는 C 구현을 통해 낮은 메모리 및 계산 비용 확보
• MEX 파일을 통한 Matlab 통합을 통해 알고리즘의 동적 테스트, 비교 및 성능 분석 가능
• 효율적인 희소 행렬-벡터 곱셈을 통해 희소 QP 문제에 대한 낮은 반복 복잡도와 확장성 최적화
• gprof 프로파일링을 통해 행렬-벡터 곱셈이 실행 시간의 대부분을 차지함을 확인하여 알고리즘 설계의 효율성 검증

실험 결과

연구 질문

• RQ1 비정확 이중 선형 순환 방법과 (보강된) 라그랑주 승수 기법을 사용할 경우 볼록 QP 문제에서 낮은 반복 복잡도와 낮은 메모리 사용량을 달성할 수 있는가?
• RQ2 소형에서 중형 크기의 밀도 있는 QP 문제에서 비정확 이중 기울기 방법의 성능은 Cplex 및 Gurobi와 같은 상용 솔버와 비교해 어떻게 되는가?
• RQ3 원천 최종 반복값을 사용하는 것과 반복값의 평균을 사용하는 것의 수렴성과 부적합성에 미치는 영향은 어떠한가?
• RQ4 희소 QP 문제에서 행렬-벡터 곱셈에만 의존하여도 알고리즘이 빠른 수렴과 낮은 메모리 사용량을 유지할 수 있는가?
• RQ5 동적 Matlab 인터페이스는 실무에서 알고리즘 테스트, 비교 및 분석를 어떻게 지원하는가?

주요 결과

• DuQuad는 경쟁적인 성능을 보이며, DFGM은 등식 제약 조건과 양의 준정부호 헤시안을 가진 QP 문제에서 Cplex 및 Gurobi와 유사한 행동을 보였다.
• DGM과 DFGM의 반복 횟수는 문제 차원의 변화에 비해 상대적으로 안정되어 있어 문제 크기 의존성이 미약함을 시사한다.
• 원천 최종 반복값을 사용할 경우 평균 반복값을 사용할 경우보다 반복 수의 측면에서 이중 선형 순환 방법이 더 우수한 성능를 보였다.
• 프로파일링 결과 행렬-벡터 곱셈이 실행 시간의 주요 부분을 차지함을 확인하여 알고리즘 설계의 중심이 이들 연산에 집중된 것이 타당함을 검증하였다.
• 구현은 기본 산술 연산과 행렬-벡터 곱셈에만 의존하므로 저비용 하드웨어 및 임베디드 시스템에 적합하다.
• 특정 문제에서는 정확한 해가 필요로 하지 않을 경우 최신 기술적 상용 솔버들을 뛰어넘는 속도로 해를 도출할 수 있었다.