[論文レビュー] Optimal Approximation of Doubly Stochastic Matrices

Nikitas Rontsis, Paul J. Goulart|arXiv (Cornell University)|Oct 11, 2019

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、行列 C の双対確率行列への最小二乗近似を、C のスパース構造を保持する双対確率行列の集合内で行う、効率的な ADMM に基づくアルゴリズムを提案する。初期の C + I のコレスキー分解と線形時間の反復を活用することで、8200万非ゼロ要素を有する行列に対しても、標準的なデスクトップハードウェアで数秒未塔のスケーリングを達成し、ゲノム解析、クラスタリング、スパース行列応用分野において、顕著な高速性とスケーラビリティを示している。

ABSTRACT

We consider the least-squares approximation of a matrix C in the set of doubly stochastic matrices with the same sparsity pattern as C. Our approach is based on applying the well-known Alternating Direction Method of Multipliers (ADMM) to a reformulation of the original problem. Our resulting algorithm requires an initial Cholesky factorization of a positive definite matrix that has the same sparsity pattern as C + I followed by simple iterations whose complexity is linear in the number of nonzeros in C, thus ensuring excellent scalability and speed. We demonstrate the advantages of our approach in a series of experiments on problems with up to 82 million nonzeros; these include normalizing large scale matrices arising from the 3D structure of the human genome, clustering applications, and the SuiteSparse matrix library. Overall, our experiments illustrate the outstanding scalability of our algorithm; matrices with millions of nonzeros can be approximated in a few seconds on modest desktop computing hardware.

研究の動機と目的

• 大規模な行列を双対確率行列として効率的に近似する課題に取り組むこと。この際、スパース構造を保持することが不可欠である。
• 行列 C の最小二乗近似において高い精度を維持しつつ、スケーラブルな最適化手法を開発すること。
• 3D ゲノム構造や SuiteSparse からのような大規模行列を実用的に処理できるように、計算オーバーヘッドを最小限に抑えること。
• 1反復あたり線形時間の計算量を達成することで、数百万非ゼロ要素を有する行列に対しても性能を維持すること。

提案手法

• 交替方向乗数法（ADMM）の適用を可能にするために、双対確率行列近似問題を再定式化する。
• C が目的行列と同じスパース構造を持つことを利用して、C + I に対する初期のコレスキー分解を実行する。
• スパース性を活用した反復的更新を設計し、各反復が C の非ゼロ要素数に線形にスケーリングされるようにする。
• スパース構造を活用することで計算効率を維持し、密行列演算を回避する。
• ADMM の交互更新を用いて、行和と列和がいずれも1に等しいという双対確率制約を強制しつつ、C からのフロベニウスノルム差を最小化する。
• ADMM フレームワーク内での双対勾配上昇とペナルティパラメータの更新を通じて収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 スパース構造を保持しつつ、大規模スパース行列を双対確率行列として効率的かつスケーラブルに近似できるアルゴリズムは存在するか？
• RQ2 提案された ADMM に基づく手法は、最大 8200 万非ゼロ要素を有する行列に対して、実行時間と精度の面でどの程度の性能を示すか？
• RQ3 C + I のコレスキー分解は、収束速度の向上と1反復あたりのコスト低減にどの程度寄与するか？
• RQ4 3D ゲノム解析やクラスタリングを含む多様な実世界応用分野において、この手法はどの程度スケーリングするか？
• RQ5 SuiteSparse データセットのような標準的なスパース行列ベンチマークにおいて、このアルゴリズムの実用的性能はいかがなものか？

主な発見

• 標準的なデスクトップハードウェア上でも、非ゼロ要素が最大 8200 万個の行列に対して、近似処理時間を数秒未塔に抑える。
• 非ゼロ要素数に比例する線形時間の反復計算量を達成しており、優れたスケーラビリティを示している。
• 初期の C + I のコレスキー分解により、その後の ADMM 反復における効率的かつ安定した更新が可能になる。
• 正確な双対確率制約を強制しつつ、最小二乗近似においても高い精度を維持している。
• ゲノム解析、クラスタリング、SuiteSparse 行列に対する実験により、多様な実世界応用分野で安定した性能を確認した。