[論文レビュー] DinTucker: Scaling up Gaussian process models on multidimensional arrays with billions of elements

Shandian Zhe, Yuan Qi+3 more|arXiv (Cornell University)|Nov 12, 2013

Tensor decomposition and applications参考文献 10被引用数 9

ひとこと要約

DinTucker は、Gaussian プロセスモデルを用いた分散型テンソル分解手法であり、数十億の要素を含む多次元配列に対して大規模なテンソル分解を実現する。階層ベイジアンフレームワークを用いて局所的なサブアレイでの学習と、MapReduce を用いたスケーラブルな推論を可能にし、NELL やアクセスログなどの実世界のデータセットにおいて、GigaTensor よりも高い予測精度と高速な学習を達成している。同時に、InfTucker の非線形モデル化能力を維持している。

ABSTRACT

Infinite Tucker Decomposition (InfTucker) and random function prior models, as nonparametric Bayesian models on infinite exchangeable arrays, are more powerful models than widely-used multilinear factorization methods including Tucker and PARAFAC decomposition, (partly) due to their capability of modeling nonlinear relationships between array elements. Despite their great predictive performance and sound theoretical foundations, they cannot handle massive data due to a prohibitively high training time. To overcome this limitation, we present Distributed Infinite Tucker (DINTUCKER), a large-scale nonlinear tensor decomposition algorithm on MAPREDUCE. While maintaining the predictive accuracy of InfTucker, it is scalable on massive data. DINTUCKER is based on a new hierarchical Bayesian model that enables local training of InfTucker on subarrays and information integration from all local training results. We use distributed stochastic gradient descent, coupled with variational inference, to train this model. We apply DINTUCKER to multidimensional arrays with billions of elements from applications in the "Read the Web" project (Carlson et al., 2010) and in information security and compare it with the state-of-the-art large-scale tensor decomposition method, GigaTensor. On both datasets, DINTUCKER achieves significantly higher prediction accuracy with less computational time.

研究の動機と目的

• InfTucker のような非パラメトリックなベイジアンテンソルモデルが主記憶サイズに制限されるスケーラビリティのボトルネックを解消すること。
• 単一マシンの能力を超える大規模な多次元配列（例：500億以上の要素）に対して、大規模な非線形テンソル分解を可能にすること。
• 局所的なサブアレイでの学習とグローバルな情報統合を統合することで、予測精度を保持しつつ、計算ノード間で線形スケーラビリティを達成すること。
• Gaussian プロセスモデルを初めて MapReduce フレームワークに導入し、GP のスケーラビリティに関する従来の制限を克服すること。
• 実世界のスパースかつ大規模なデータにおいて、GigaTensor よりも予測精度と計算効率の両面で優れた、最新の分散テンソル分解手法を凌駆すること。

提案手法

• 局所的な InfTucker の学習を可能にしつつ、すべての局所的結果の情報統合を可能にする階層ベイジアンモデルを提案する。
• MapReduce フレームワーク上で、スケーラブルかつ並列に学習できるように、分散確率的勾配降下法（SGD）と変分推論を組み合わせる。
• 全テンソルを重複のないサブアレイ（例：50×50×50）に分割することで、分散処理を可能にし、ノードごとのメモリ圧力を軽減する。
• 代表的な訓練を保証するため、情報量の多いまたは非ゼロ値が豊富なスライスに高いサンプリング確率を割り当てる重み付きサンプリング戦略を適用する。
• GP 共分散のクリロネッカー構造を活用し、データのスパarsity を活かして、局所的推論中の計算コストを削減する。
• 分散環境下での頑健性と一般化性能を向上させるために、複数のサブアレイサンプルに対するバギングを予測に用いる。

実験結果

リサーチクエスチョン

• RQ1 Gaussian プロセスモデルを用いた非パラメトリックなベイジアンテンソルモデル（例：InfTucker）を、数十億の要素を含むテンソルに分散コンピューティングを用いてスケーリング可能か？
• RQ2 サブアレイでの局所的学習とグローバルな情報統合をどのように組み合わせれば、フルモデルの InfTucker と同等の予測精度を維持できるか？
• RQ3 提案された分散 GP モデルは、GigaTensor よりも予測精度と学習速度の両面で優れているか？
• RQ4 分散 GP 学習におけるサブアレイサイズと通信コストのトレードオフは何か？ そして、それが全体のパフォーマンスにどのように影響するか？
• RQ5 Gaussian プロセスモデルは、大規模なテンソル学習の文脈で、MapReduce フレームワークに効果的に導入可能か？

主な発見

• DinTucker は、NELL 知識ベース（68.9B 要素）およびアクセスログデータセット（71.5B 要素）において、GigaTensor よりも顕著に高い予測精度を達成しており、サンプリング戦略にかかわらず AUC の向上が一貫して観察された。
• DinTucker の学習時間は、計算ノード数に対してほぼ線形にスケーリングされ、Hadoop クラスタ上で優れた水平スケーラビリティを示した。
• より複雑な非線形モデル化を採用しているにもかかわらず、効率的な局所的推論と通信最適化されたサブアレイ処理により、GigaTensor よりも学習時間を短縮した。
• 情報量の多いスライスを優先する重み付きサブアレイサンプリング戦略は、一様サンプリングと同等またはそれ以上の性能を示し、代表的な訓練データ選択の重要性を裏付けた。
• NELL データセットでは、DinTucker は、ゴールスタンダードである InfTucker とほぼ同等の予測精度を維持しながら、InfTucker が処理できない規模のデータにも適用可能であった。
• 0.0001% および 0.003% の非常に低い非ゼロ要素率を示すスパースで高次元の配列に対しても、DinTucker は、同じ計算予算下で GigaTensor よりも速度と精度の両面で優れた性能を発揮した。