[論文レビュー] Out-of-core singular value decomposition

Vadim Demchik, Miroslav Bačák+1 more|arXiv (Cornell University)|Jul 15, 2019

Matrix Theory and Algorithms参考文献 15被引用数 5

ひとこと要約

この論文では、最小限のメインメモリを備えたシステム上で、任意に大きな密行列および疎行列の効率的なSVD分解を可能にする、完全にアウト・オブ・コアでスケーラブルかつ並列化可能なランダム化特異値分解（SVD）ソリューションであるExB SVDライブラリを提示する。ブロック巡回データ分散と恒久的外部記憶を活用することで、メモリ効率の良い処理、自動的な負荷分散、精度の柔軟性、再開可能な計算を実現し、ハイエンドのスーパーコンピュータを必要とせずに、一般ハードウェア上でも大規模SVDを実行可能にする。

ABSTRACT

Singular value decomposition (SVD) is a standard matrix factorization technique that produces optimal low-rank approximations of matrices. It has diverse applications, including machine learning, data science and signal processing. However, many common problems involve very large matrices that cannot fit in the main memory of commodity computers, making it impractical to use standard SVD algorithms that assume fast random access or large amounts of space for intermediate calculations. To address this issue, we have implemented an out-of-core (external memory) randomized SVD solution that is fully scalable and efficiently parallelizable. This solution factors both dense and sparse matrices of arbitrarily large size within arbitrarily small memory limits, efficiently using out-of-core storage as needed. It uses an innovative technique for partitioning matrices that lends itself to out-of-core and parallel processing, as well as memory and I/O use planning, automatic load balancing, performance tuning, and makes possible a number of other practical enhancements to the current state-of-the-art. Furthermore, by using persistent external storage (generally HDDs or SSDs), users can resume interrupted operations without having to recalculate previously performed steps, solving a major practical problem in factoring very large matrices.

研究の動機と目的

• 一般ハードウェア上でメインメモリ容量を超える非常に大きな行列のSVDを実行するという増大する課題に対処すること。
• 極度のメモリ制約下でも効率的に動作する、スケーラブルで並列化可能かつフェイルセーフなアウト・オブ・コアSVDアルゴリズムを設計すること。
• 1行列あたり1 KBのメインメモリすらあるシステムで、中間データに恒久的記憶（HDD/SSD）を用いて、実用的なSVD計算を可能にすること。
• データ変換を伴わずに、可変精度（単精度、倍精度、半精度）およびハイブリッドな疎/密行列演算をサポートすること。
• 部分的な結果を永続化することで回復性を確保し、計算が中断された場合に再計算をせずに再開できるようにすること。

提案手法

• 大規模行列を小さな部分行列に分割するためのブロック巡回データ分散を用い、いつでもメインメモリ上に小さな管理可能なデータ量のみを保持してすべての処理を実行可能にする。
• Halko、Martinsson、Troppのランダム化SVD近似アルゴリズムを、最小限のコアメモリ使用量でアウト・オブ・コア実行に適応させたものを利用する。
• メモリ使用量の事前推定とタスクスケジューリングを実施し、メモリ枯渇を防ぎ、許容可能なタスク優先順位付けを可能にする。
• 単精度、倍精度、半精度の直接的なクロス精度演算および疎行列用の32/64ビットインデックスをサポートし、データ変換のオーバーヘッドを最小限に抑える。
• 中間結果を恒久的外部記憶（HDD/SSD）に格納することで、中断後の回復を可能にする。
• 自動的な負荷分散を実装し、入出力処理における効率的なマルチスレッドデータフォーマット変換をサポートする。

実験結果

リサーチクエスチョン

• RQ1 メインメモリ容量をはるかに超える行列を処理できるように、ランダム化SVDアルゴリズムを完全にアウト・オブ・コア化することは可能か？
• RQ2 極めて少ないRAMを備えたシステム上で、SVD計算中にリアルタイムでメモリ使用量を予測・管理する方法は何か？
• RQ3 半精度、単精度の低精度が、アウト・オブ・コア環境下でのランダム化SVDの精度および安定性にどの程度影響を与えるか？
• RQ4 中間結果をディスクに永続化することで、アウト・オブ・コアSVDをフェイルセーフにできるか？中断後、再開可能か？
• RQ5 従来のイン・コアまたはI/O非効率なアプローチと比較して、ブロック巡回データ分散はアウト・オブ・コアSVDにどの程度効率的に適応できるか？

主な発見

• ExB SVDライブラリは、1行列あたり1 KBのメインメモリのみを用いて、Lenna画像のランク50 SVD近似を成功裏に実行し、極めて厳しいメモリ制約下での実現可能性を示した。
• 半精度、単精度、倍精度を用いた画像再構築では視覚的差がほとんどなく、低精度であっても結果の品質が著しく劣化しないことを示した。
• 半精度浮動小数点演算でさえも、安定的かつ正確なSVD近似を達成しており、数値ノイズに対して強い耐性を示し、GPUアクセcelerationの可能性を示唆している。
• 再開可能な計算が可能である：中断された処理は再計算をせずに部分結果から再開でき、フェイルセーフ性が著しく向上した。
• メモリ予測とタスク分解メカニズムにより、メモリ枯渇を防ぎ、効率的なスケジューリングが可能となり、Dockerコンテナのような制限環境でも動作可能となった。
• ハイブリッドな疎/密演算および直接的なクロス精度算術演算のサポートにより、データ移動が削減され、I/O効率が向上した。