[論文レビュー] Online Tensor Methods for Learning Latent Variable Models

Furong Huang, U. N. Niranjan+2 more|arXiv (Cornell University)|Sep 3, 2013

Tensor decomposition and applications参考文献 46被引用数 9

ひとこと要約

本稿では、コミュニティ検出およびトピックモデリングのための潜在変数モデルを学習するために、確率的勾配降下法を用いたオンラインテンソル分解手法を提案する。明示的なテンソル形成を回避することで、計算コストと記憶コストを削減する。実世界のデータセット（Facebook、DBLP、ニューヨーク・タイムズ）において、最先端の精度を達成し、数個のオーダーの高速化を実現した。変分推論手法に比べ、効率性と頑健性の両面で優れている。

ABSTRACT

We introduce an online tensor decomposition based approach for two latent variable modeling problems namely, (1) community detection, in which we learn the latent communities that the social actors in social networks belong to, and (2) topic modeling, in which we infer hidden topics of text articles. We consider decomposition of moment tensors using stochastic gradient descent. We conduct optimization of multilinear operations in SGD and avoid directly forming the tensors, to save computational and storage costs. We present optimized algorithm in two platforms. Our GPU-based implementation exploits the parallelism of SIMD architectures to allow for maximum speed-up by a careful optimization of storage and data transfer, whereas our CPU-based implementation uses efficient sparse matrix computations and is suitable for large sparse datasets. For the community detection problem, we demonstrate accuracy and computational efficiency on Facebook, Yelp and DBLP datasets, and for the topic modeling problem, we also demonstrate good performance on the New York Times dataset. We compare our results to the state-of-the-art algorithms such as the variational method, and report a gain of accuracy and a gain of several orders of magnitude in the execution time.

研究の動機と目的

• 重なりのあるコミュニティおよびトピックを学習するためのスケーラブルで効率的なフレームワークを、統計的保証が強いテンソルベースの手法を用いて開発する。
• 大規模な潜在変数モデルにおける明示的テンソル演算の計算不能性に対処し、暗黙的テンソル計算を用いる。
• モーメントテンソル上の確率的勾配降下法を用いて、潜在変数モデルのオンライン学習を可能にする。
• 有向、無向、双方向ネットワークを含む多様なグラフタイプに適用可能な統一的アプローチを提供する。
• 従来の変分手法の限界（接続性の固定仮定、スパースまたは複雑なネットワークにおけるスケーラビリティの低さ）を克服する。

提案手法

• データから得られる経験的モーメントテンソルに基づく、多次元演算を最適化するためのオンライン確率的勾配降下法（SGD）を用いる。
• メモリおよび計算コストを削減するために、テンソル演算を行列およびベクトル演算を通じて暗黙的に計算し、明示的なテンソルの生成を回避する。
• ソーシャルネットワークやテキストコーパスのような大規模でスパースなデータセットにおいて、スパース行列表現を効率的な計算に活用する。
• 最大の高速化を実現するため、GPUベースの実装を採用し、SIMD並列処理を活用し、メモリアクセスおよびデータ転送を最適化する。
• GPUメモリに収まらないデータセット向けに、効率的なスパース線形代数を用いたCPUベースの実装を実装する。
• p値および誤り発見率（FDR）を用いた仮説検定を適用し、コミュニティ数の手動チューニングを必要とせずにコミュニティ回復の評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 オンラインテンソル分解によるSGDは、実世界のソーシャルネットワークにおける重複コミュニティの学習において、高い精度とスケーラビリティを達成できるか？
• RQ2 本手法は、大規模データセットにおいて、最先端の変分推論手法と比較して、精度および実行時間の面で優れているか？
• RQ3 暗黙的テンソル演算は、モデル性能を損なわせることなく、計算コストおよび記憶コストをどの程度削減できるか？
• RQ4 既存の変分アプローチとは異なり、本手法は双方向ネットワークや有向ネットワークを含むさまざまなグラフタイプに一般化可能か？
• RQ5 コミュニティ数の事前知識がなくても、p値および誤り発見率の使用が、コミュニティ検出の精度評価においてどの程度有効であるか？

主な発見

• I/Oオーバーヘッドを除き、DBLPデータセット（100万ノード、1600万エッジ、250コミュニティ）において、2分未満の計算時間で10%の誤差率を達成した。
• Facebookデータセットでは、ハイスクール、ダブルラーニング、ダーミングループなどの実世界の社会的構造を高い精度で回復した。
• ニューヨーク・タイムズデータセット（10万語、30万ドキュメント）でも、約2分で実行され、解釈可能なトピックを学習し、「ブリッジワード」（複数のトピックに共通する語）を特定した。
• GPUベースの実装では、Gopalanら（2012）の確率的変分推論法に比べ、特に大規模なスパースグラフにおいて数個のオーダーの高速化を達成した。
• 本手法は、精度および効率性の両面で変分推論を上回り、同様に同様に均質な接続性モデルに制限されなかった。
• p値を用いた評価により、コミュニティ数のチューニングが不要となり、回復性能の柔軟で頑健な評価が可能になった。