[論文レビュー] Empirical Evaluation of Four Tensor Decomposition Algorithms

Peter D. Turney|ArXiv.org|Nov 13, 2007

Tensor decomposition and applications参考文献 24被引用数 31

ひとこと要約

本稿は、合成および実世界のテンソル上で、実行時間、メモリ使用量、再構成精度の観点から、HO-SVD、HOOI、SP、MP の4つのテンソル分解アルゴリズムを実験的に評価している。HOOIは最高の適合度を達成するが、高いRAM使用量のため、小規模なテンソルに限定される。一方、MPは大規模テンソルにおいて最良のトレードオフを提供し、スケーラビリティが重要な状況では好ましい。

ABSTRACT

Higher-order tensor decompositions are analogous to the familiar Singular Value Decomposition (SVD), but they transcend the limitations of matrices (second-order tensors). SVD is a powerful tool that has achieved impressive results in information retrieval, collaborative filtering, computational linguistics, computational vision, and other fields. However, SVD is limited to two-dimensional arrays of data (two modes), and many potential applications have three or more modes, which require higher-order tensor decompositions. This paper evaluates four algorithms for higher-order tensor decomposition: Higher-Order Singular Value Decomposition (HO-SVD), Higher-Order Orthogonal Iteration (HOOI), Slice Projection (SP), and Multislice Projection (MP). We measure the time (elapsed run time), space (RAM and disk space requirements), and fit (tensor reconstruction accuracy) of the four algorithms, under a variety of conditions. We find that standard implementations of HO-SVD and HOOI do not scale up to larger tensors, due to increasing RAM requirements. We recommend HOOI for tensors that are small enough for the available RAM and MP for larger tensors.

研究の動機と目的

• 4つの高次元テンソル分解アルゴリズム（HO-SVD、HOOI、SP、MP）のスケーラビリティとパフォーマンスのトレードオフを評価すること。
• テンソルのサイズと構造に応じて、実行時間、メモリ（RAMおよびディスク）使用量、再構成適合度がどのように変化するかを評価すること。
• 実世界の応用における大規模テンソル分解に適した各アルゴリズムの適性を特定すること。
• ランダムテンソルを用いた性能評価の妥当性を検証するため、計算言語学の実データセットを用いてテストすること。
• 時間、メモリ、精度のアプリケーション固有の制約に基づいた、アルゴリズム選定の実用的助言を提供すること。

提案手法

• 合成スパースな3次元および4次元テンソルを用いて、HO-SVD、HOOI、SP、MP の4つのテンソル分解アルゴリズムを評価した。
• HO-SVDおよびHOOIには標準のMATLAB Tensor Toolbox実装を使用。SPおよびMPはMATLABで自前実装した。
• 異なるテンソルサイズおよびコア比を想定し、経過時間、RAMおよびディスク使用量、テンソル再構成適合度（R²に類似した指標）を測定した。
• スケーリング特性、コアサイズの不均衡への感受性、入力サイズとコアサイズ比の変動に対する感度を評価するため、ランダムスパーステンソルを用いた実験を実施した。
• 実世界の計算言語学テンソル（391×849×1020）を用いて、結果を検証した。このテンソルは語の類似性パターンとTOEFLデータから導出された。
• 語の類似性予測という下流タスクにおける性能を実世界の指標として用い、適合度の質とタスク成功との相関関係を検証した。

実験結果

リサーチクエスチョン

• RQ1 テンソルサイズの増加に伴い、4つのテンソル分解アルゴリズム（HO-SVD、HOOI、SP、MP）の実行時間、メモリ使用量、再構成適合度はどのように変化するか？
• RQ2 特にスパースで高次元のテンソルにおいて、各アルゴリズムの適合度はコアテンソルの次元の不均衡に対してどの程度感受性を示すか？
• RQ3 ランダムテンソル上で観察された性能ランク付けは、実世界の計算言語学データセットでも同様に成り立つか？
• RQ4 テンソル分解の再構成適合度は、語の類似性予測のような下流タスクにおける有効性を予測できるか？
• RQ5 大規模テンソル分解に際して、適合度、速度、メモリ使用量の間の実用的トレードオフは何か？

主な発見

• HOOIは最高の再構成適合度（22.597）を達成したが、5.77 GiBのRAMを要し、1000³を超えるテンソルにはメモリ制約のため対応できなかった。
• MPは2番目の高い適合度（22.371）を達成し、2000³のテンソルに対しても4.34 GiBのRAMでスケーリング可能であり、大規模データセットに適している。
• SPは低メモリ使用量（4.33 GiB）で適合度22.321を達成したが、特にスパーステンソルにおいてコアサイズ比の不均衡に極めて感受性を示した。
• HO-SVDは最低の適合度（21.716）を示し、他のすべてのアルゴリズムに劣っており、速度やメモリ使用量において顕著な利点もなかった。
• 実際のTOEFLデータセットでは、HOOIが最高のタスク精度（83.75%）を達成し、次いでMPとSP（81.25%）、HO-SVDは80.00%だった。
• 分解なしの元のテンソルはTOEFLタスクで67.50%のスコアを記録し、テンソル分解が性能向上に寄与することを確認した。これにより、先行実験で使用したランダムテンソルの妥当性も裏付けられた。