[論文レビュー] Scalable Boolean Tensor Factorizations using Random Walks

Dóra Erdös, Pauli Miettinen|arXiv (Cornell University)|Oct 17, 2013

Tensor decomposition and applications参考文献 20被引用数 4

ひとこと要約

本稿では、ランダムウォークと後処理を用いて、大規模かつスパースなバイナリテンソルのブール型CPおよびタッカーtensor因子分解のスケーラブルなアルゴリズム「Walk'n'Merge」を提案する。本手法は、潜在的なブール構造の正確な再構成を達成し、最小記述長原理（MDL）を用いて分解ランクを自動選択する。Enron や YPSS のような実世界のデータを処理する際、従来手法を上回るスケーラビリティを実現している。

ABSTRACT

Tensors are becoming increasingly common in data mining, and consequently, tensor factorizations are becoming more and more important tools for data miners. When the data is binary, it is natural to ask if we can factorize it into binary factors while simultaneously making sure that the reconstructed tensor is still binary. Such factorizations, called Boolean tensor factorizations, can provide improved interpretability and find Boolean structure that is hard to express using normal factorizations. Unfortunately the algorithms for computing Boolean tensor factorizations do not usually scale well. In this paper we present a novel algorithm for finding Boolean CP and Tucker decompositions of large and sparse binary tensors. In our experimental evaluation we show that our algorithm can handle large tensors and accurately reconstructs the latent Boolean structure.

研究の動機と目的

• 大規模かつスパースなバイナリテンソルにおけるブール型テンソル因子分解（BTF）のためのスケーラブルなアルゴリズムの不足に対処すること。
• RDF やテキスト、通信ログなどの実世界のデータにおいて、論理的または集合的関係のような潜在的なブール構造の発見を可能にすること。
• 従来のBTFアルゴリズムが計算複雑性のため失敗するような大規模テンソルにスケーラブルに対応する手法の開発。
• 最小記述長（MDL）原理を統合し、ブール因子分解における最適なランク選択を自動化すること。
• データマイナーが従来の因子分解手法を超えてブール構造を探索できる実用的で効率的なツールを提供すること。

提案手法

• 本手法の核となるのは、テンソルの構造を探索し、潜在的なブール成分を同定するランダムウォークベースのアルゴリズム「Walk'n'Merge」である。
• ランダムウォークを用いて高次元テンソルファイバーをサンプリングおよびクラスタリングし、スケーラブルな方法で候補となるランク1成分を同定する。
• 初期出力を精緻化する後処理ステップにより、二値因子とブール和再構成を保証し、BTF制約を満たす。
• 最適な分解ランクの選択のため、最小記述長（MDL）原理が符号長を最小化するように適用される。
• 本アルゴリズムは、ブール型CPおよびタッカー因子分解の両方をサポートしており、コアテンソルおよび因子行列の回復の拡張も可能である。
• 非ゼロ要素に焦点を当て、効率的なデータ構造を用いることで、スパarsityと大規模データを効果的に処理するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 大規模かつスパースなバイナリテンソルにおいて、ランダムウォークがブール成分を効果的に発見できるか。
• RQ2 実世界のデータセットにおいて、Walk'n'Mergeのスケーラビリティは、既存のBTFアルゴリズムと比較してどの程度優れているか。
• RQ3 MDL原理が、ブール型テンソル因子分解において最適なランクをどの程度自動的に選択できるか。
• RQ4 本アルゴリズムは、RDF やテキストの三元組データのような実世界のデータのブール構造を保持できるか。
• RQ5 提案された因子分解を用いた、潜在的なブール的事実（例：エンティティ-関係三元組）の再構成精度はどの程度か。

主な発見

• Walk'n'MergeはYPSSデータセットにおいて、クロード＝ニコラ＝グイヨーム＝ド・ロリミエがケベック州ラシェーヌで生まれたことを正しく同定し、潜在的なブール構造を正確に再構成した。
• Enronデータセットでは、1775の再構成誤差と9×11×9のコアテンソルを達成し、明示的な誤差最適化が行われていないにもかかわらず、高い精度を示した。
• Facebookデータセット（最大ランク3300）は、密度の閾値に応じて85～277分で処理され、cp_apr や ParCube よりも優れたスケーラビリティを示した。
• YPSSデータセット（39,500×8,000×21,000、非ゼロ要素804,000個）ではWalk'n'Mergeが52分で処理され、タッカー因子分解は追加で3時間かかった。
• 本手法は、データが完全にブール構造に従わない場合でも、実世界のデータに対して頑健な性能を示し、実用的価値を示した。
• アルゴリズムの性能はパラメータに敏感であり、ランダム性を含むため、チューニングと複数回の実行が求められる可能性がある。