[論文レビュー] A Fully Sparse Implementation of a Primal-Dual Interior-Point Potential Reduction Method for Semidefinite Programming

Gun Srijuntongsiri, Stephen A. Vavasis|arXiv (Cornell University)|Dec 2, 2004

Advanced Optimization Algorithms Research参考文献 17被引用数 11

ひとこと要約

本稿では、データ行列のスパarsityを活用する完全スパースなプライマル・デュアル内点法のポテンシャル還元法を提示する。この手法は、部分行列表現と逆モードの自動微分を用いて、障害関数の勾配およびヘッセ・ベクトル積を効率的に計算することで、平面的スパース構造において1反復あたり時間計算量O(n^{5/2})、空間計算量O(n log n)を達成し、従来のO(n^3)およびO(n^2)の計算量と比べ顕著に改善される。

ABSTRACT

In this paper, we show a way to exploit sparsity in the problem data in a primal-dual potential reduction method for solving a class of semidefinite programs. When the problem data is sparse, the dual variable is also sparse, but the primal one is not. To avoid working with the dense primal variable, we apply Fukuda et al.'s theory of partial matrix completion and work with partial matrices instead. The other place in the algorithm where sparsity should be exploited is in the computation of the search direction, where the gradient and the Hessian-matrix product of the primal and dual barrier functions must be computed in every iteration. By using an idea from automatic differentiation in backward mode, both the gradient and the Hessian-matrix product can be computed in time proportional to the time needed to compute the barrier functions of sparse variables itself. Moreover, the high space complexity that is normally associated with the use of automatic differentiation in backward mode can be avoided in this case. In addition, we suggest a technique to efficiently compute the determinant of the positive definite matrix completion that is required to compute primal search directions. The method of obtaining one of the primal search directions that minimizes the number of the evaluations of the determinant of the positive definite completion is also proposed. We then implement the algorithm and test it on the problem of finding the maximum cut of a graph.

研究の動機と目的

• 問題データにおけるスパarsityを完全に活用する効率的なSDPソルバーの開発。特に、プライマル変数が密であるがデータがスパースな場合に焦点を当てる。
• 従来の内点法における密なプライマル変数の保存と演算による計算ボトルネックを克服すること。
• スパarsityと高度な数値技術を活用して、プライマル・デュアルポテンシャル還元法における探索方向の計算を効率化すること。
• 正定値行列補完の行列式計算の時間的・空間的計算量を低減すること。これはプライマル探索方向計算の重要な操作である。

提案手法

• 福田らの行列補完理論に基づき、密なプライマル変数の保存と演算を回避するための部分行列表現を用いる。
• スパarsityを活用して、障害関数の勾配およびヘッセ・ベクトル積を、障害関数評価時間に比例する時間で計算する逆モードの自動微分を適用する。
• ヘッセ行列を明示的に構築または因数分解せずに、共役勾配法を用いて探索方向の線形方程式系を解く。
• 正定値補完行列の行列式を繰り返し評価せずに1つのプライマル探索方向を計算する手法を提案し、高コストな操作を削減する。
• 重複する最大クリーク同士でコレスキー因子を再利用することで、バンド構造や平面的構造において特に効果的な行列補完の行列式計算を高速化する。
• ニュートン方向から得られる量を再利用する2つの追加非ニュートン探索方向を導入し、計算コストをほとんど増加させずにポテンシャル還元を著しく改善する。

実験結果

リサーチクエスチョン

• RQ1 スパースなSDPデータ行列において、密行列演算を伴わずに、プライマル・デュアルポテンシャル還元フレームワークでスパarsityを完全に活用できるか？
• RQ2 スパースなSDP問題において、対数障害関数の勾配およびヘッセ・ベクトル積をどのように効率的に計算できるか？
• RQ3 正定値行列補完の行列式を繰り返しコレスキー分解よりも効率的に計算できるか？
• RQ4 平面的スパース構造を有する問題に対して、完全スパースなSDPソルバーの達成可能な時間的・空間的計算量はどの程度か？
• RQ5 1反復あたりのポテンシャル還元を著しく改善するため、追加の探索方向を最小限の計算コストで計算可能か？

主な発見

• スパース構造が平面的グラフを形成するSDP問題において、本アルゴリズムは1反復あたり時間計算量O(n^{5/2})、空間計算量O(n log n)を達成する。
• 逆モードの自動微分の使用により、スパース問題であっても障害関数評価時間と同等の時間で勾配およびヘッセ・ベクトル積の計算が可能になる。
• 探索方向の線形方程式系を解くために共役勾配法を用いるが、反復回数が少ないため、反復的線形解法を用いても実用的である。
• 正定値補完行列の行列式計算のための提案手法により、バンド構造の場合にO((n-p)p^2)の計算量に低減され、コレスキー分解と同等のコストとなる。
• 2つの非ニュートン探索方向を追加することで、計算コストをほとんど増加させずに1反復あたりのポテンシャル還元が著しく改善され、実際の収束が速くなる。
• MAX-CUTインスタンスにおける実験結果から、4つの探索方向をすべて使用した完全なアルゴリズムが、ニュートン方向のみを用いた場合よりも最適解をより速く見つけることが確認された。