[論文レビュー] DFacTo: Distributed Factorization of Tensors

Joon Hee Choi, S. V. N. Vishwanathan|arXiv (Cornell University)|Jun 17, 2014

Tensor decomposition and applications参考文献 13被引用数 80

ひとこと要約

DFacTo は、中間データの爆発を回避するために、2つのスパース行列-ベクトル積を用いて効率的にクラスティ・ラオ積を計算することにより、交互最小二乗法（ALS）および勾配降下法（GD）を高速化する分散型テンソル因子分解アルゴリズムである。既存の手法と比較して 4–10 倍の高速化を達成しており、4台のマシンで 6.5M×2.5M×1.5M のテンソル（非ゼロ要素が 12 億個）に対して 1 回の ALS イテレーションを 480 秒、1 回の GD イテレーションを 1,143 秒で処理する。

ABSTRACT

We present a technique for significantly speeding up Alternating Least Squares (ALS) and Gradient Descent (GD), two widely used algorithms for tensor factorization. By exploiting properties of the Khatri-Rao product, we show how to efficiently address a computationally challenging sub-step of both algorithms. Our algorithm, DFacTo, only requires two sparse matrix-vector products and is easy to parallelize. DFacTo is not only scalable but also on average 4 to 10 times faster than competing algorithms on a variety of datasets. For instance, DFacTo only takes 480 seconds on 4 machines to perform one iteration of the ALS algorithm and 1,143 seconds to perform one iteration of the GD algorithm on a 6.5 million x 2.5 million x 1.5 million dimensional tensor with 1.2 billion non-zero entries.

研究の動機と目的

• ALS や GD のようなテンソル因子分解アルゴリズムにおける中間データの爆発問題に対処すること。
• 巨大でスパースなテンソル上でスケーラブルかつ分散処理可能なテンソル因子分解の計算を可能にすること。
• 高パフォーマンスを維持しつつ、高価な中間表現を回避する手法の設計。
• 標準的なスパース線形代数ライブラリと互換性がある実用的で並列化可能なソリューションの提供。
• 実世界のデータセットにおいて、Tensor Toolbox や GigaTensor と比較して速度とスケーラビリティで優れるようにすること。

提案手法

• DFacTo は、ALS や GD の主要な計算ステップ（クラスティ・ラオ積を含む乗算）を、2つのスパース行列-ベクトル積に再定式化する。
• クラスティ・ラオ積の性質を活用して、大きな中間行列を明示的に生成することを回避する。
• アルゴリズムは複数のマシンに自然に分散可能であり、水平スケーリングが可能である。
• 標準的なスパース線形代数演算を用いるため、既存の高性能ライブラリとの互換性が保証される。
• 最小限のアルゴリズム的変更で、ALS および GD の最適化戦略の両方をサポートする。
• 密行列表現を避けてスパースデータ構造を直接操作することで、数値的安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 中間行列を生成せずに、テンソル因子分解におけるクラスティ・ラオ積の計算を高速化できるか？
• RQ2 巨大でスパースなテンソルに対して、スケーラブルかつ効率的なテンソル因子分解アルゴリズムはどのように実現できるか？
• RQ3 従来の密行列や中間行列アプローチと比較して、スパース行列-ベクトル積を用いることでどの程度の性能向上が得られるか？
• RQ4 実世界のデータセット（非ゼロ要素が数十億個）に対して、分散型テンソル因子分解の実装が顕著な高速化を達成できるか？
• RQ5 DFacTo は、Tensor Toolbox や GigaTensor といった既存ツールと比較して、性能およびメモリ使用量の点でどの程度優れているか？

主な発見

• 6.5M×2.5M×1.5M のテンソル（非ゼロ要素が 12 億個）に対して、4台のマシンで 1 回の ALS イテレーションを DFacTo で 480 秒で実行できる。
• 同じテンソルに対して 1 回の GD イテレーションは DFacTo を用いて 1,143 秒で処理され、高いスケーラビリティを示している。
• さまざまなデータセットにおいて、ALS では GigaTensor より平均 5 倍、Tensor Toolbox より 10 倍高速である。
• GD では、Tensor Toolbox の CP-OPT より 4 倍の高速化を達成している。
• 3 つのフラット化された行列を保持するため、Tensor Toolbox より 3 倍のメモリを使用するが、これは優れた計算効率によって相殺されている。
• 実験的結果から、DFacTo を用いた連合行列補完とテンソル因子分解モデルが、すべてのデータセットで行列補完のみの手法よりも低い平均二乗誤差を達成している。