[論文レビュー] NOMAD: Non-locking, stOchastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion

Hyokun Yun, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|Dec 1, 2013

Blind Source Separation Techniques参考文献 5被引用数 32

ひとこと要約

NOMAD は、同期のボトル neck を排除することで、一般ハードウェア上で効率的な並列計算を可能にする、ロックフリーで分散型、非同期の確率的アルゴリズムであり、大規模な行列補完に適している。マルチコアおよび分散メモリ環境の両方において、最新の手法よりも優れた収束性とスケーラビリティを達成しており、特にデータサイズとマシン数が増加する際の性能が顕著である。

ABSTRACT

We develop an efficient parallel distributed algorithm for matrix completion, named NOMAD (Non-locking, stOchastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion). NOMAD is a decentralized algorithm with non-blocking communication between processors. One of the key features of NOMAD is that the ownership of a variable is asynchronously transferred between processors in a decentralized fashion. As a consequence it is a lock-free parallel algorithm. In spite of being an asynchronous algorithm, the variable updates of NOMAD are serializable, that is, there is an equivalent update ordering in a serial implementation. NOMAD outperforms synchronous algorithms which require explicit bulk synchronization after every iteration: our extensive empirical evaluation shows that not only does our algorithm perform well in distributed setting on commodity hardware, but also outperforms state-of-the-art algorithms on a HPC cluster both in multi-core and distributed memory settings.

研究の動機と目的

• 帯域幅が限られ、信頼性の低い相互接続を持つ一般ハードウェアにおける、既存の行列補完アルゴリズムの非効率性を解消すること。
• 同期分散システムに一般的に見られる同期のオーバーヘッドを回避する、スケーラブルで並列なアルゴリズムの開発。
• シリアル可能更新を活用した非同期で分散型の計算により、大規模データセットにおける高性能な行列補完を実現すること。
• 共有メモリおよび分散メモリ環境の両方において、最新の手法よりも優れた収束性とパフォーマンスを達成すること。
• 実際の協調フィルタリングワークロードを模倣するように、データサイズとマシン数が増加する状況でも、強力なスケーリングを示すこと。

提案手法

• すべてのプロセッサが同一の計算および通信タスクを実行する分散型で対称的なアーキテクチャを採用する。
• 変数所有権をプロセッサ間で動的に割り当てることで、ロックを排除する「所有者が計算する」パラダイムを採用する。
• 各イテレーション後にバルク同期を回避する、非ブロッキングで非同期のプロセッサ間通信を可能にする。
• 更新の直列化を保証することで、同等の逐次更新順序が存在することを保証し、古くなったパラメータの使用を防止する。
• 重み付き二乗損失と L2 正則化を用いた確率的勾配降下法を適用し、目的関数は観測された要素ごとに分離可能である。
• 任意の分離可能な損失関数と正則化項をサポートするが、本論文では二乗損失と重み付きフロベニウスノルム正則化に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 一般ハードウェア上で、分散型でロックフリーで非同期のアルゴリズムは、同期的またはブロッキング型のアルゴリズムを上回る性能を達成できるか？
• RQ2 分散メモリ環境において、マシン数とデータサイズが増加するに従い、NOMAD はどのようにスケーリングするか？
• RQ3 同期の障壁が存在しないことで、実際の協調フィルタリングワークロードにおいて、より速い収束性とパフォーマンス向上が達成できるか？
• RQ4 収束速度と解の品質の観点から、DSGD、DSGD++、CCD++ などの最新の手法と比較して、NOMAD はどのように異なるか？
• RQ5 データセットのサイズとマシン数が比例して増加する状況でも、NOMAD は高いパフォーマンスとスケーラビリティを維持できるか？

主な発見

• NOMAD は、1台のマシン上で最大30スレッドまでニアーリニアスケーリングを達成し、強力なマルチコア性能を示している。
• 固定されたデータセットにおいて、NOMAD は最大32台のマシンにわたりほぼ線形にスケーリングされ、同期的および他の非同期ベースラインを上回っている。
• 一般ハードウェアクラスタでは、DSGD や DSGD++、CCD++ に対する NOMAD のパフォーマンス優位性が、HPC クラスターよりも顕著に現れている。
• データサイズとマシン数が比例して増加する状況では、NOMAD は優れたスケーリング行動を維持しており、スケールが大きくなるに従い性能差が拡大している。
• Netflix を模倣した合成データセットを用いた実験では、NOMAD は DSGD++ や他の競合手法を一貫して上回っており、特にスケールが大きい場合に顕著である。
• アルゴリズムの直列化可能更新メカニズムにより、同期が不要でありながら正しさが保証されており、古くなったパrameter を使用する手法よりも速い収束性を達成している。