[論文レビュー] An algorithm for online tensor prediction

John Pothier, Josh Girson+1 more|arXiv (Cornell University)|Jul 28, 2015

Tensor decomposition and applications参考文献 13被引用数 3

ひとこと要約

本稿では、テンソルSVDとボルツマン・ヴァン・ニーマン発散の一般化に基づき、テンソル指数勾配降下法を用いたオンラインテンソル予測アルゴリズムを提案する。3次元テンソル補完において、逐次的・非適応的観測下で証明可能なレグレットバウンドを達成する。この手法により、理論的性能保証のもとで低ランクテンソル学習が可能となり、合成されたソーシャルネットワークレーティングデータにおいて、既存のオンライン凸テンソル補完手法を上回る性能を発揮する。

ABSTRACT

We present a new method for online prediction and learning of tensors ($N$-way arrays, $N >2$) from sequential measurements. We focus on the specific case of 3-D tensors and exploit a recently developed framework of structured tensor decompositions proposed in [1]. In this framework it is possible to treat 3-D tensors as linear operators and appropriately generalize notions of rank and positive definiteness to tensors in a natural way. Using these notions we propose a generalization of the matrix exponentiated gradient descent algorithm [2] to a tensor exponentiated gradient descent algorithm using an extension of the notion of von-Neumann divergence to tensors. Then following a similar construction as in [3], we exploit this algorithm to propose an online algorithm for learning and prediction of tensors with provable regret guarantees. Simulations results are presented on semi-synthetic data sets of ratings evolving in time under local influence over a social network. The result indicate superior performance compared to other (online) convex tensor completion methods.

研究の動機と目的

• 逐次的・非適応的測定からの3次元テンソルのオンライン予測を、性能保証とともに行う。
• 構造的テンソル分解と一般化された発散概念を用いて、行列指数勾配降下法をテンソルへ拡張する。
• 有界リプシッツ連続性を満たす凸損失関数のもとで、低ランクテンソルのオンライン学習のための枠組みを提供する。
• テンソルSVDとブロック対角行列表現を用いたオンラインテンソル予測の理論的レグレットバウンドを確立する。
• 既存のオンライン凸テンソル補完手法と比較して、準合成的ソーシャルネットワークレーティングデータにおいて優れた性能を示す。

提案手法

• テンソルSVDとブロック対角行列表現を用いて、行列指数勾配法をテンソルへ一般化することで、テンソル指数勾配降下（TEG）アルゴリズムを提案する。
• テンソルSVDフレームワークを用いて、テンソル固有のボルツマン・ヴァン・ニーマン発散を定義し、テンソル空間上の凸最適化を可能にする。
• 各テンソルを巡回群上の群環上の線形作用素として表現することで、構造的低ランク近似を可能にする。
• 損失関数の線形近似を用いてレグレットをバウンドし、非線形なオンラインテンソル問題を線形問題に還元する。
• 補題VII.1を適用して、損失作用素のトレースの二乗とテンソルランクパラメータに依存するレグレットバウンドを導出する。
• レグレットを最小化するために、時間の逆平方根とテンソルの複雑さパラメータに基づくステップサイズルールを採用する。

実験結果

リサーチクエスチョン

• RQ1 逐次的・非適応的観測下で、証明可能な収束性を持つオンラインアルゴリズムをテンソル予測に設計できるか？
• RQ2 構造的テンソル分解を用いて、行列指数勾配法をテンソルへどのように一般化できるか？
• RQ3 最適化の目的で、3次元テンソルに対するボルツマン・ヴァン・ニーマン発散とランクの適切な一般化は何か？
• RQ4 オンラインテンソル予測のレグレットを、テンソルランクと損失関数の性質の観点からバウンドできるか？
• RQ5 実際の応用において、本手法は既存のオンライン凸テンソル補完技術と比較してどのように異なるか？

主な発見

• 提案されたオンラインテンソル指数勾配（OTEG）アルゴリズムは、$ 2Gig(T\beta(k)ig)^{1/2} $ のレグレットバウンドを達成する。ここで $ G $ は勾配バウンド、$ T $ は時間である。
• レグレットバウンドは時間の平方根と、テンソルランクと損失複雑度パラメータの積に比例し、部分線形成長を示す。
• 局所的影響パターンを示す準合成的ソーシャルネットワークレーティングデータにおいて、他のオンライン凸テンソル補完手法を上回る性能を発揮する。
• 条件 $ \eta \|\text{blkdiag}(\widehat{\bm{\mathscr{L}}}_t)\| \leq 1 $ の下で理論的保証が成り立つ。この条件は十分に大きな $ T $ に対して満たされる。
• 小規模な $ T $ に対しても、レグレットは $ 2GT $ で有界であり、$ \|\beta\|_1 \geq 1 $ の正規化により、導出されたバウンド内に保たれる。
• 本手法はテンソルSVDを活用して、テンソルを群環上の線形作用素として表現し、効率的かつ構造的な低ランク学習を可能にする。