[論文レビュー] Parallel MMF: a Multiresolution Approach to Matrix Computation

Risi Kondor, Nedelina Teneva+1 more|arXiv (Cornell University)|Jul 15, 2015

Sparse and Compressive Sensing Techniques参考文献 18被引用数 7

ひとこと要約

この論文では、再帰的なデータの階層的クラスタリング、スパースな直交回転（例：ギブンス回転やkポイント回転）の適用、各レベルでの部分行列の圧縮を通じて、行列分解を効率的に計算する並列マルチスケール行列因子分解アルゴリズムpMMFを紹介する。この手法はスパース行列に対して行列サイズに比例するスケーリングを達成し、大規模な線形系における高効率な行列圧縮と前処理を可能にする。

ABSTRACT

Multiresolution Matrix Factorization (MMF) was recently introduced as a method for finding multiscale structure and defining wavelets on graphs/matrices. In this paper we derive pMMF, a parallel algorithm for computing the MMF factorization. Empirically, the running time of pMMF scales linearly in the dimension for sparse matrices. We argue that this makes pMMF a valuable new computational primitive in its own right, and present experiments on using pMMF for two distinct purposes: compressing matrices and preconditioning large sparse linear systems.

研究の動機と目的

• 機械学習における大規模でスパースな行列の行列計算の拡張性を高める挑戦に応えるために、並列的でマルチスケールな手法を導入すること。
• 従来のデータ並列型およびパラメータ並列型手法では複雑なパラメータ相互作用を捉えられず、中央集権的な調整を要するという限界を克服すること。
• 処理ユニット間の通信を最小限に抑えつつ、行列に内蔵されたマルチスケール構造を明らかにするスケーラブルな計算プリミティブを開発すること。
• pMMFの有効性を、2つの主要なタスクである行列圧縮と大規模スパース線形系の前処理において実証すること。

提案手法

• pMMFは階層的クラスタリング戦略を用いて、行列をネストされたクラスタに再帰的に分割し、マルチスケール階層を構築する。
• 各レベルで、アクティブな部分行列に対してスパースな直交回転（ギブンス回転やkポイント回転）を適用し、高周波成分を分離する。
• 各レベルでグラム行列の更新と、クラスタ間で並列に実行される回転の適用を通じて、行列の圧縮スケッチを維持する。
• 粗いレベルでは密度の高いコア行列 $ H $ を保持し、これは $ S_L $-コア対角であるため、計算と保存が効率的に行える。
• 各レベルでクラスタごとに局所的に処理し、圧縮スケッチのみを再配布することで、処理ユニット間の通信を最小限に抑える。
• 因数分解は $ A \approx Q_1^\top \cdots Q_L^\top H Q_L \cdots Q_1 $ のように構造化され、直交行列 $ Q_\ell $ が縮小するアクティブ集合 $ S_\ell $ に作用する。

実験結果

リサーチクエスチョン

• RQ1 行列因子分解に対するマルチスケールアプローチを、行列サイズに比例するスケーリングを達成するように並列化できるか？
• RQ2 pMMFは、スパース行列の共役勾配ソルバーの加速において、不完全コレスキー分解やSSORといった従来の前処理器を上回る性能を示すか？
• RQ3 実世界のデータにおいて、低ランク手法と比較して、pMMFはより優れた行列圧縮性能と低い近似誤差を達成できるか？
• RQ4 実際の応用において、クラスタリング戦略、回転順序、圧縮戦略の選択がpMMFの性能に与える影響は何か？
• RQ5 pMMFは機械学習における行列逆行列計算、圧縮、大規模線形系の解法の一般用途計算プリミティブとして利用可能か？

主な発見

• スパース行列に対して、pMMFの実行時間は行列次元に比例してスケーリングされ、大規模な問題に対して非常に効率的である。
• 圧縮実験において、pMMFは低ランク手法よりも顕著に低い行列近似誤差を達成しており、マルチスケールデータ構造への忠実度の高さが示された。
• pMMFによる前処理は共役勾配ソルバーの加速を実現し、1イタレーションあたりの時間が他の前処理器と比較して2〜10倍速く、収束時間も競争力があるか、それを上回る性能を示した。
• 8コア2.6GHzマシン上でpMMFの前処理器を計算する時間は1分未満であり、複数回の線形解法にわたって平均化される。
• ネットワーク行列およびカーネル行列において、いくつかのテストケースでpMMFは標準的な前処理器を上回り、さまざまな問題タイプにわたる頑健性を示した。
• 因子分解の計算量は $ O(pc^3) $ であり、$ p $ レベル、各レベルのクラスタ数 $ m $、各クラスタサイズ $ c $ を用いて、$ N_{\text{proc}} $ 倍の並列性を達成する。