[論文レビュー] Learning from Multiway Data: Simple and Efficient Tensor Regression

Rose Yu, Yan Liu|arXiv (Cornell University)|Jul 8, 2016

Tensor decomposition and applications参考文献 26被引用数 27

ひとこと要約

本稿では、ランダム化スケッチと高速なテンソルパワー反復を活用することで、線形のメモリ増加と固定回数の反復内での収束を達成する、シンプルで効率的なテンソル回帰のためのアルゴリズムであるサブサンプルドテンソルプロジェクテッドグラデント（TPG）を提案する。この手法は、多次元マルチタスク学習および時空間予測タスクにおいて、既存手法よりも高速かつ高精度である。

ABSTRACT

Tensor regression has shown to be advantageous in learning tasks with multi-directional relatedness. Given massive multiway data, traditional methods are often too slow to operate on or suffer from memory bottleneck. In this paper, we introduce subsampled tensor projected gradient to solve the problem. Our algorithm is impressively simple and efficient. It is built upon projected gradient method with fast tensor power iterations, leveraging randomized sketching for further acceleration. Theoretical analysis shows that our algorithm converges to the correct solution in fixed number of iterations. The memory requirement grows linearly with the size of the problem. We demonstrate superior empirical performance on both multi-linear multi-task learning and spatio-temporal applications.

研究の動機と目的

• 大規模な多次元データにおける従来のテンソル回帰手法の高い計算コストとメモリボトルネックを解消すること。
• 逐次最小二乗法（ALS）やトレースノルム最小化の限界を克服し、収束が遅く、最適でない解が得られる問題を解決すること。
• モデル固有の導出を必要とせず、多様なテンソル回帰モデルに一般に適用可能な汎用ソルバーを開発すること。
• 制限等方性性質（RIP）の下で理論的収束保証を与え、ノイズに対してロバストで、推定誤差がノイズの大きさに線形に比例するようにすること。
• 実世界の多次元および時空間データセットにおいて、予測精度と実行時間の両面で実証的に優れた性能を示すこと。

提案手法

• 高次テンソルにおけるプロジェクテッド・グラデントデセントを用いて、テンソル回帰を制約付き最適化問題として定式化する。
• 射影ステップにおける主成分の計算に、高速なテンソルパワー反復を採用し、フルなSVDを回避する。
• データのサブサンプリングにランダム化スケッチを導入することで、計算コストを低減し、大規模データセットへのスケーラビリティを実現する。
• モードごとの射影を用いて直交制約を維持することで、反復的ハードスレッディングをテンソルに一般化する。
• テンソルのアンフォールドおよびnモード積演算を用いて、回帰モデルおよび勾配計算を効率的に表現する。
• 問題サイズに依存せず、RIPのもとで理論的収束保証が得られる固定回数の反復を適用する。

実験結果

リサーチクエスチョン

• RQ1 大規模な多次元データセットにスケーリングできる、シンプルで汎用的なアルゴリズムをテンソル回帰に設計することは可能か？
• RQ2 ランダム化スケッチとプロジェクテッド・グラデントデセントを組み合わせることで、既存手法と比較してより高速な収束と低いメモリ使用量が達成可能か？
• RQ3 ノイズに対してロバストでありながら、ノイズの大きさに比例する線形推定誤差スケーリングを達成できるか？
• RQ4 マルチタスク学習や時空間予測といった実世界の応用において、最先端手法と比較してどのように性能を発揮するか？
• RQ5 実世界のデータ（例：大気循環パターン）から、学習されたテンソルパラメータから得られる構造的インサイトは何か？

主な発見

• TPGはベースライン手法と比較して著しく高速な実行時間を達成した：Foursquareでは37.06秒、USHCNでは144.43秒であり、それぞれGreedy手法の290.12秒および6786秒を下回った。
• TPGは両データセットで最小のRMSEを達成した：Foursquareでは0.3580、USHCNでは0.3872であり、OLS、THOSVD、Greedy、ADMMを上回った。
• アルゴリズムは固定回数の反復で収束し、制限等方性性質（RIP）のもとで理論的保証が得られた。
• 推定誤差はノイズの大きさに比例して線形に増加し、観測誤差に対してロバストであることが確認された。
• USHCNデータから学習された空間的・時間的依存関係グラフは、カリフォルニアおよびサルトゥンシーやその周辺の気流といった意味のある大気循環パターンを明らかにした。
• TPGの射影ステップはデータに依存しないため、異なるテンソル回帰モデルへの効率的な再利用と一般化が可能である。