[論文レビュー] PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization

Gordon Euhyun Moon, Aravind Sukumaran-Rajam+2 more|arXiv (Cornell University)|Apr 16, 2019

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 7

ひとこと要約

本稿では、HALS方式に基づく、並列的かつ局所性最適化された非負値行列分解（NMF）アルゴリズムであるPL-NMFを提案する。この手法は、アルゴリズム的再順序付けと3次元タイリングを用いてデータ局所性を向上させ、メモリ帯域幅のボトルネックを低減する。データ移動を最小限に抑えながらも高い収束精度を維持することで、最先端のCPUおよびGPU NMF実装と比較して最大287.1倍の高速化を達成した。

ABSTRACT

Non-negative Matrix Factorization (NMF) is a key kernel for unsupervised dimension reduction used in a wide range of applications, including topic modeling, recommender systems and bioinformatics. Due to the compute-intensive nature of applications that must perform repeated NMF, several parallel implementations have been developed in the past. However, existing parallel NMF algorithms have not addressed data locality optimizations, which are critical for high performance since data movement costs greatly exceed the cost of arithmetic/logic operations on current computer systems. In this paper, we devise a parallel NMF algorithm based on the HALS (Hierarchical Alternating Least Squares) scheme that incorporates algorithmic transformations to enhance data locality. Efficient realizations of the algorithm on multi-core CPUs and GPUs are developed, demonstrating significant performance improvement over existing state-of-the-art parallel NMF algorithms.

研究の動機と目的

• 現代のメモリ階層における高いデータ移動コストが引き起こす並列NMFの性能ボトルネックを解消すること。
• 収束品質を損なわせることなく、データ局所性を最適化することでNMFアルゴリズムの効率を向上させること。
• マルチコアCPUおよびGPU向けに、局所性に配慮したアルゴリズム変換を用いたスケーラブルかつ高効率なNMF実装を開発すること。
• データ移動のオーバーヘッドを体系的に分析し、パフォーマンス最適化のための最適なタイルサイズを導出すること。
• 速度と収束効率の両面で、既存の最先端並列NMF実装を上回ること。

提案手法

• 加法の結合則を活用して、行列更新における加法的寄与の順序を再定式化し、3次元タイリングが可能な効率的な構造を実現する。
• NMFのコア計算（具体的には$WH$と$H^TH$の更新）に3次元タイリングを適用することで、データ再利用を向上させ、オンチップ外メモリトラフィックを削減する。
• $W$の更新に2段階の戦略を導入し、反復的な密行列-ベクトル乗算を最適化された密行列-行列乗算（DMM）に置き換える。
• すべての実装で公平なパフォーマンス比較を実現するため、同一のBLASプリミティブ（GPUではcuBLAS、CPUではMKL）を採用する。
• タイルサイズの関数としてデータ移動コストモデルを導出し、異なるハードウェアプラットフォーム向けの最適タイル選定を支援する。
• マルチコアCPUおよびGPUの両方でPL-NMFを実装し、最適化されたメモリアクセスパターンとスレッドレベルの並列性を実現する。

実験結果

リサーチクエスチョン

• RQ1 並列NMFにおけるデータ局所性を体系的に向上させることで、メモリ帯域幅のオーバーヘッドを低減する方法は何か？
• RQ2 数学的結果に変更を加えずに、NMF計算に効果的な3次元タイリングを可能にするアルゴリズム的変換は何か？
• RQ3 タイルサイズの選定が、NMFワークロードにおけるデータ移動と全体的なパフォーマンスに与える影響は何か？
• RQ4 局所性最適化されたNMF実装は、既存の最先端並列NMFアルゴリズムと比較して顕著な高速化を達成できるか？
• RQ5 提案手法は、標準HALSや他のNMFバリアントと比較して、収束品質をどの程度維持できるか？

主な発見

• PL-NMF-cpuは、K=240の条件下で20 Newsgroups、TDT2、Reuters、AT&T、PIEデータセットにおいて、それぞれ3.07×、3.06×、5.81×、3.02×、3.07×のイテレーションあたりの高速化を達成した。
• PIEデータセットで相対誤差0.12に到達した際、PL-NMF-gpuはPL-NMF-cpu、planc-HALS-cpu、bionmf-MU-gpu、planc-MU-cpuと比較して、それぞれ3.49×、9.74×、26.41×、287.1×の高速化を達成した。
• PL-NMF-cpu実装は、反復的DMV演算を最適化されたDMMと段階的計算に置き換えることで、$W$の更新に要する時間を20 Newsgroupsデータセットで2.039秒から0.033秒にまで削減した。
• データ移動コストモデルにより、CPUおよびGPUの両方で高いパフォーマンスを達成するための最適タイルサイズ選定が可能になった。
• PL-NMFは、元のFAST-HALSおよびplanc-HALS-cpuと同等の解の品質を維持しており、局所性最適化が収束精度を低下させないことを確認した。
• 性能向上は特に密度の高い行列において顕著であり、PIE画像データセットで最大287.1倍の高速化が観察された。これは、メモリ制限ワークロードにおけるタイリング戦略の有効性を示している。