[論文レビュー] A Riemannian gossip approach to decentralized matrix completion

Bamdev Mishra, Hiroyuki Kasai+1 more|arXiv (Cornell University)|May 23, 2016

Distributed Control Multi-Agent Systems参考文献 21被引用数 3

ひとこと要約

本稿では、グラスマン多様体上での局所的完了および一貫性項の重み付き和を最小化することで、複数のエージェントが協力的に行列を完了するためのリーマン型ゴッサップアルゴリズムを提案する。この手法は漸近的収束を保証し、悪条件問題のためのプリコンディショニングをサポートしており、MovieLens 20Mを含むベンチマークで優れた性能を発揮し、スケーラビリティおよび正確性においてD-LMaFitを上回る。

ABSTRACT

In this paper, we propose novel gossip algorithms for the low-rank decentralized matrix completion problem. The proposed approach is on the Riemannian Grassmann manifold that allows local matrix completion by different agents while achieving asymptotic consensus on the global low-rank factors. The resulting approach is scalable and parallelizable. Our numerical experiments show the good performance of the proposed algorithms on various benchmarks.

研究の動機と目的

• プライバシーおよび通信制約下での大規模分散行列完了の課題に対処すること。
• エージェントがグローバルな低ランク要因に一貫性を達成しながら協力的に行列を完了できるゴッサップベースのフレームワークを構築すること。
• 各エージェントが一度に1人の他のエージェントとのみ通信することにより、通信オーバーヘッドを低減すること。
• 分散型で分散された環境下でもアルゴリズムの漸近的収束を保証すること。
• プリコンディショニングおよび並列化を通じて、悪条件問題および大規模インスタンスにおける性能を向上させること。

提案手法

• 分散型行列完了問題を、グラスマン多様体上での局所的完了および一貫性項の重み付き和として定式化する。
• 低ランク構造を強制するために、固定ランク行列分解 X = UW^T を用い、U ∈ St(r,m) および W ∈ R^{n×r} とする。
• グラスマン多様体上での確率的リーマン勾配降下法を用いてUを更新し、各ステップでWに対して閉形式解を計算する。
• 1イテレーションごとに1人のネイバーと情報交換を行うゴッサップベースの通信プロトコルを実装する。これにより通信量を最小限に抑える。
• 悪条件問題における収束を改善するため、対角プリコンディショナを用いた変種を提案する。
• 並列計算アーキテクチャを活用できるように、同時に複数エージェントが更新可能な並列バージョンを導入する。

実験結果

リサーチクエスチョン

• RQ1 ゴッサップベースの分散型フレームワークは、通信量を最小限に抑えながら、低ランク行列完了において漸近的一貫性を達成できるか？
• RQ2 提案されたリーマン型ゴッサップアルゴリズムは、D-LMaFitなどの最先端手法と比較して、大規模データセット上でどの程度の性能を示すか？
• RQ3 プリコンディショニングは、悪条件問題における収束性および正確性をどの程度向上させるか？
• RQ4 提案されたアルゴリズムは、数十億件のレーティングを持つ実世界のデータセット（例：MovieLens 20M）に対して効果的にスケーリングできるか？
• RQ5 ρによって制御される完了項と一貫性項のバランスが、収束性および正確性にどのように影響するか？

主な発見

• オンラインゴッサップアルゴリズムは、MovieLens 20MデータセットにおいてD-LMaFitを上回り、ランク5において正規化平均絶対誤差（NMAE）が0.1507 ± 3×10⁻³を達成した。
• プリコンディショニング変種は、悪条件問題において収束を著しく加速し、非プリコンディショニング版よりも速く訓練誤差を低下させた。
• MovieLens 20Mデータセットにおいて、エージェント間で漸近的一貫性が達成され、イテレーションを経るごとにエージェント間距離が0に近づいた。
• 並列バージョンは、トレーニングおよびテストセットにおいてオンラインバージョンと同等の性能を示し、効果的なスケーラビリティを裏付けた。
• ランク5、10,000×100,000の行列およびオーバーサンプリング比6のケースにおいて、ρ=10³のとき、両方の完了と一貫性が達成された。理論的トレードオフが妥当であることを裏付けた。
• 動的環境下でもアルゴリズムは頑健性を保ち、仮定A1のもとで、エージェント2および3が更新頻度が高いためにより速く収束した。