[논문 리뷰] Large-Scale Quadratically Constrained Quadratic Program via Low-Discrepancy Sequences

Kinjal Basu, Ankan Saha외 1명|arXiv (Cornell University)|2017. 10. 02.

Mathematical Approximation and Integration참고 문헌 20인용 수 5

한 줄 요약

이 논문은 저차이성 수열을 사용하여 이차 제약 조건을 근사화함으로써 대규모 볼록 이차 제약 조건이 있는 이차 프로그래밍(QCQP) 문제를 스케일러블하게 해결하는 방법을 제안한다. 문제는 기존의 $ O(n^2) $ 변수 대신 $ n $개의 변수를 유지하는 대규모 이차 프로그래밍(QP)으로 변환되며, ADMM나 연산자 분할을 통해 효율적으로 해결할 수 있고, 이론적 수렴 보장과 함께 $ n = 10^6 $까지의 확장성과 SDP 및 RLT보다 뛰어난 근사 품질을 보인다.

ABSTRACT

We consider the problem of solving a large-scale Quadratically Constrained Quadratic Program. Such problems occur naturally in many scientific and web applications. Although there are efficient methods which tackle this problem, they are mostly not scalable. In this paper, we develop a method that transforms the quadratic constraint into a linear form by sampling a set of low-discrepancy points. The transformed problem can then be solved by applying any state-of-the-art large-scale quadratic programming solvers. We show the convergence of our approximate solution to the true solution as well as some finite sample error bounds. Experimental results are also shown to prove scalability as well as improved quality of approximation in practice.

연구 동기 및 목표

• 기존의 QCQP 솔버, 특히 SDP와 RLT의 스케일링 한계를 해결하기 위해, $ O(n^2) $ 변수 증가로 인한 성능 저하 문제를 해결하고자 한다.
• 구조적 샘플링을 통해 계산 효율성을 유지하면서도 해의 정확성을 보장하는 실용적인 대규모 QCQP 솔버를 개발하고자 한다.
• 제안된 근사 방법에 대한 이론적 수렴성과 유한 샘플 오차 한계를 제공하고자 한다.
• 최대 $ 10^6 $개의 변수를 가진 문제에서 본 방법의 확장성과 근사 품질을 경험적으로 검증하고자 한다.
• 저차이성 샘플링이 랜덤 샘플링 및 균일 샘플링보다 해의 정확성과 타당성 측면에서 뛰어나다는 것을 보여주고자 한다.

제안 방법

• 저차이성 수열로부터 유도된 $ N $개의 선형 제약 조건을 사용하여, 단일 이차 제약 조건을 가진 원래의 QCQP 문제를 등가의 QP 문제로 변환한다.
• 저차이성 수열을 사용하여 $ (¹ x - b)^T B (x - b) \leq \tilde{b} $로 정의된 타당 영역에서 점들을 샘플링하여 제약 조건 경계의 균일한 커버리지를 확보한다.
• 각 샘플된 점 $ x_i $에서 선형 제약 조건 $ (x - x_i)^T B (x - x_i) \leq \tilde{b} $를 구성함으로써 원래의 이차 타당 영역에 대한 다면체 외부 근사화를 형성한다.
• ADMM나 연산자 분할과 같은 효율적인 1차 방법을 사용하여 유도된 대규모 QP 문제를 해결하며, 이는 분산 및 대규모 계산에 적합하다.
• 정확성과 계산 비용의 균형을 위해 $ N = \max(1024, 2^m) $로 설정하며, 여기서 $ m $은 $ 2^m \geq 10n $를 만족하는 최소 정수이다.
• 이론적 분석에 따르면 근사 오차는 $ N $ 증가에 따라 감소하며, $ N \to \infty $일 때 진짜 해로 수렴하고, $ g(N) $에 대한 명시적 오차 한계가 존재한다.

실험 결과

연구 질문

• RQ1 저차이성 샘플링이 QCQP 내 이차 제약 조건을 효과적으로 근사하여 표준 QP 솔버를 통한 확장 가능한 해법을 가능하게 할 수 있는가?
• RQ2 샘플 수 $ N $ 증가에 따라 근사 오차가 어떻게 감소하는가? 이는 이론적으로 유계로 표현될 수 있는가?
• RQ3 대규모 문제에서 본 방법이 SDP 및 RLT보다 확장성과 해의 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 샘플링 순서의 선택(저차이성 대비 랜덤 및 균일)이 근사 해의 정확성에 어떤 영향을 미치는가?
• RQ5 고차원 설정($ n \geq 10^6 $)에서도 타당성과 근사 최적성은 유지될 수 있는가?

주요 결과

• 제안된 방법은 $ n = 10^6 $개의 변수까지 확장 가능하며, $ n \geq 1000 $일 경우 SDP 및 RLT는 1시간 이내에 수렴하지 못한다.
• $ n = 10^5 $일 때, $ N = 1024 $로도 상대 제곱 오차가 $ 1.5 \times 10^{-6} $로 나타나 랜덤 및 균일 샘플링보다 유의미하게 낮다.
• $ N $ 증가에 따라 상대 오차와 타당성 오차가 감소하며, 이는 진짜 해로의 수렴을 보여준다.
• 타당성 오차, 정의는 $ \left((x^*(N) - x_0)^T B (x^*(N) - x_0) - \tilde{b}\right)_+ $로, $ N $ 증가에 따라 감소하여 제약 조건 충족도 향상을 나타낸다.
• 모든 테스트 차원에서 상대 제곱 오차의 로그를 최소화하는 데 있어 저차이성 샘플링이 랜덤 및 균일 샘플링보다 뛰어나다.
• 이론적 분석은 $ N \to \infty $일 때 근사 해가 진짜 해로 수렴하며, $ g(N) $에 대한 명시적 오차 상한이 있음을 확인한다.