[論文レビュー] Scoup-SMT: Scalable Coupled Sparse Matrix-Tensor Factorization

Evangelos E. Papalexakis, Tom M. Mitchell+4 more|arXiv (Cornell University)|Feb 28, 2013

Tensor decomposition and applications参考文献 23被引用数 8

ひとこと要約

Scoup-SMT は、CMTF を 50–100× 速くし、スパarsity を 5 倍に向上させる高速で並列処理可能かつスパarsity を促進するアルゴリズムです。欠損値がある状態でも、スパースで結合されたテンソル・行列データの堅牢な分解を可能にし、脳画像（BrainQ）およびソーシャルネットワーク（Facebook）データセットにおいて、隠れた意味的構造や異常を特定するのに有効です。

ABSTRACT

How can we correlate neural activity in the human brain as it responds to words, with behavioral data expressed as answers to questions about these same words? In short, we want to find latent variables, that explain both the brain activity, as well as the behavioral responses. We show that this is an instance of the Coupled Matrix-Tensor Factorization (CMTF) problem. We propose Scoup-SMT, a novel, fast, and parallel algorithm that solves the CMTF problem and produces a sparse latent low-rank subspace of the data. In our experiments, we find that Scoup-SMT is 50-100 times faster than a state-of-the-art algorithm for CMTF, along with a 5 fold increase in sparsity. Moreover, we extend Scoup-SMT to handle missing data without degradation of performance. We apply Scoup-SMT to BrainQ, a dataset consisting of a (nouns, brain voxels, human subjects) tensor and a (nouns, properties) matrix, with coupling along the nouns dimension. Scoup-SMT is able to find meaningful latent variables, as well as to predict brain activity with competitive accuracy. Finally, we demonstrate the generality of Scoup-SMT, by applying it on a Facebook dataset (users, friends, wall-postings); there, Scoup-SMT spots spammer-like anomalies.

研究の動機と目的

• 大規模でスパースな結合テンソル・行列データセットにスケーリングする際、既存の CMTF アルゴリズムの計算非効率性を解消すること。
• 近似精度を損なわず、要因分解された潜在的部分空間におけるスパarsity を促進するスケーラブルで並列処理可能なアルゴリズムの開発。
• 実世界のデータセットでエントリが不完全またはノイズを含む場合にも、欠損データに対して堅牢であることを保証すること。
• テンソルと行列を統合的にモデル化することで、脳活動と行動反応などのマルチモーダルデータにおける有効な知識発見を可能にすること。
• 神経科学やソーシャルネットワーク分析を含む多様な分野への適用を通じて、一般性を実証すること。

提案手法

• Scoup-SMT は、CMTF の反復最小二乗法（ALS）ソルバを高速化するためのサンプリングベースでランダム化されたアプローチを採用し、要因更新の確率的近似により計算コストを低減する。
• 要因更新のための操作数を著しく削減しながらも高い精度を維持する、新規のサンプリング方式を導入し、複数コアにわたる並列処理を可能にする。
• サンプリング機構が潜在的にスパースな要因行列を自然に促進するため、明示的な ℓ₁ 正則化を必要とせず、スパarsity を促進する。
• 最適化目的関数を観測済みエントリのみを考慮するように変更することで、欠損データを処理する CMTF フレームワークの拡張を実現し、高い欠損率下でも安定した性能を発揮する。
• 共有モードにわたる結合データ構造の低ランク近似を効率的に計算するために、テンソルのアンフォールディングとカトリ・ラオ積を用いる。
• 複数の CPU コアにタスクを分散する並列実装を採用し、BrainQ や Facebook などの大規模データセットで顕著な高速化を達成する。

実験結果

リサーチクエスチョン

• RQ1 要因分解表現において、両方の高速性と高いスパarsity を達成できる CMTF アルゴリズムを設計できるか？
• RQ2 入力テンソルおよび行列に欠損データが増加する状況下で、Scoup-SMT の性能はどのように低下するか？
• RQ3 Scoup-SMT は、脳活動と意味的反応などのマルチモーダルデータにおいて、意味的で解釈可能な潜在的要因を同定できるか？
• RQ4 実世界のデータセットにおいて、既存の CMTF ソルバーよりも速度と精度の両面で優れているか？
• RQ5 スパム行動などの異常パターンを、付加情報付きのソーシャルネットワークデータで Scoup-SMT が検出できるか？

主な発見

• BrainQ データセットにおいて、Scoup-SMT は従来の ALS を用いた CMTF アルゴリズムと比較して 50–100× の高速化を達成し、近似精度の損失は最小限に抑えられた。
• 明示的な正則化を用いなくても、ベースライン手法と比較して要因行列のスパarsity を 5 倍に向上させた。
• 最大 50% のエントリが欠損している状況下でも、Scoup-SMT は高い信号対雑音比（SNR）を維持し、欠損データに対して堅牢であることを示した。
• BrainQ データセットでは、神経解剖学的・意味的知識と整合する解釈可能な潜在的概念（例：「昆虫」「道具」）を効果的に同定した。
• Facebook データセットでは、ユーザーの相互作用およびフレンドシップネットワークにおける異常パターンを同定することで、スパマーに類似した異常を検出できた。
• サンプリングレートが上昇しても、相対的コストの増加はわずかであり、アルゴリズムの性能は安定的かつスケーラブルであることが確認された。