[論文レビュー] Large-Scale Quadratically Constrained Quadratic Program via Low-Discrepancy Sequences

Kinjal Basu, Ankan Saha+1 more|arXiv (Cornell University)|Oct 2, 2017

Mathematical Approximation and Integration参考文献 20被引用数 5

ひとこと要約

本稿では、低分散列を用いて二次制約を近似することで、大規模な凸二次制約付き二次プログラム（QCQP）を解くスケーラブルな手法を提案する。この手法により、$ O(n^2) $ ではなく $ n $ 個の変数を維持することができ、ADMM やオペレータ分割を用いた効率的な解法が可能となり、理論的収束保証と併せて、$ n = 10^6 $ までスケーラブルに拡張可能であり、SDP や RLT より優れた近似品質を示す。

ABSTRACT

We consider the problem of solving a large-scale Quadratically Constrained Quadratic Program. Such problems occur naturally in many scientific and web applications. Although there are efficient methods which tackle this problem, they are mostly not scalable. In this paper, we develop a method that transforms the quadratic constraint into a linear form by sampling a set of low-discrepancy points. The transformed problem can then be solved by applying any state-of-the-art large-scale quadratic programming solvers. We show the convergence of our approximate solution to the true solution as well as some finite sample error bounds. Experimental results are also shown to prove scalability as well as improved quality of approximation in practice.

研究の動機と目的

• 既存のQCQPソルバー（特にSDPやRLT）のスケーラビリティの限界、特に $ O(n^2) $ の変数増加に起因する低効率性を是正すること。
• 構造的サンプリングを用いて計算効率を維持しつつ解の正確性を保証する実用的な大規模QCQPソルバーの開発。
• 提案された近似手法の理論的収束性および有限サンプル誤差バウンドの提供。
• 最大 $ 10^6 $ 変数を対象とした問題において、本手法のスケーラビリティと近似品質の実証的検証。
• 低分散サンプリングがランダムおよび一様サンプリングを上回る解の正確性と妥当性を示すこと。

提案手法

• 低分散列から得られる $ N $ 個の線形制約を用いて、二次制約を近似することで、元のQCQPを等価なQPに変換する。
• 制約境界の均等なカバーを確保するため、$ (¹ x - b)^T B (x - b) \leq \tilde{b} $ で定義される実行可能領域から低分散列を用いて点をサンプリングする。
• 各サンプリング点 $ x_i $ において、線形制約 $ (x - x_i)^T B (x - x_i) \leq \tilde{b} $ を構築し、元の二次的実行可能集合の多面体外近似を形成する。
• ADMM やオペレータ分割など、分散処理や大規模計算に適した一次順序法を用いて、得られた大規模QPを解く。
• 計算コストと精度のバランスを考慮し、$ N = \max(1024, 2^m) $（$ m $ は $ 2^m \geq 10n $ を満たす最小の整数）を採用する。
• 理論的分析により、近似誤差は $ N $ の増加に伴い減少し、$ N \to \infty $ の極限で真の解に収束することが示され、$ g(N) $ を用いた明示的な誤差バウンドが得られる。

実験結果

リサーチクエスチョン

• RQ1 低分散サンプリングは、QCQPにおける二次制約を効果的に近似できるか？ これにより、標準的なQPソルバーによるスケーラブルな解法が可能になるか？
• RQ2 サンプル数 $ N $ の増加に伴い、近似誤差はどのように減少するか？ また、理論的にそのバウンドを示せるか？
• RQ3 大規模問題において、本手法はSDP や RLT よりもスケーラビリティと解の品質の点で優れているか？
• RQ4 サンプリング列の選択（低分散 vs. ランダム vs. 一様）が、近似解の正確性にどのように影響するか？
• RQ5 高次元設定（$ n \geq 10^6 $）においても、本手法は妥当性と近似的最適性を維持できるか？

主な発見

• 提案手法は $ n = 10^6 $ 変数までスケーラブルであり、$ n \geq 1000 $ の場合、SDP や RLT は1時間以内に収束しなかった。
• $ n = 10^5 $ の場合、$ N = 1024 $ で相対二乗誤差が $ 1.5 \times 10^{-6} $ にまで低下し、ランダムおよび一様サンプリングよりも顕著に低い。
• $ N $ を次元に応じて増加させることで、相対誤差および妥当性誤差が減少し、真の解への収束が確認された。
• 妥当性誤差（$ \left((x^*(N) - x_0)^T B (x^*(N) - x_0) - \tilde{b}\right)_+ $）は $ N $ の増加に伴い減少し、制約の満たされ具合が向上していることが示された。
• 全テスト次元において、相対二乗誤差の対数を最小化する点で、本手法はランダムおよび一様サンプリングを上回った。
• 理論的分析により、$ N \to \infty $ の極限で近似解が真の解に収束することが確認され、$ g(N) $ を用いた明示的な誤差バウンドが得られた。