[論文レビュー] Higher order Matching Pursuit for Low Rank Tensor Learning

Yuning Yang, Siamak Mehrkanoon+1 more|arXiv (Cornell University)|Mar 7, 2015

Tensor decomposition and applications参考文献 41被引用数 5

ひとこと要約

本稿では、低ランクテンソル学習のためのスケーラブルなアルゴリズムである Higher Order Matching Pursuit (HoMP) を提案する。HoMP は、繰り返しランク1の成分の和としてテンソルを構築する。テンソル特異値問題を保証された近似比を伴って効率的に近似することで、凸および非凸最適化問題において線形収束を達成し、低メモリ使用量と計算量の低さを実現するとともに、テンソル補完および多次元マルチタスク学習のタスクで最先端の手法を上回る性能を示す。

ABSTRACT

Low rank tensor learning, such as tensor completion and multilinear multitask learning, has received much attention in recent years. In this paper, we propose higher order matching pursuit for low rank tensor learning problems with a convex or a nonconvex cost function, which is a generalization of the matching pursuit type methods. At each iteration, the main cost of the proposed methods is only to compute a rank-one tensor, which can be done efficiently, making the proposed methods scalable to large scale problems. Moreover, storing the resulting rank-one tensors is of low storage requirement, which can help to break the curse of dimensionality. The linear convergence rate of the proposed methods is established in various circumstances. Along with the main methods, we also provide a method of low computational complexity for approximately computing the rank-one tensors, with provable approximation ratio, which helps to improve the efficiency of the main methods and to analyze the convergence rate. Experimental results on synthetic as well as real datasets verify the efficiency and effectiveness of the proposed methods.

研究の動機と目的

• 特異値分解（SVD）に依存する既存の低ランクテンソル学習手法におけるスケーラビリティおよびメモリ使用量の制限を解決すること。
• 高価な SVD の計算を回避しつつ収束保証を維持する、貪欲で反復的な低ランクテンソル近似手法を開発すること。
• マッチングパルスの原則を高次元テンソルに拡張し、凸および非凸の目的関数への適用を可能にすること。
• 勾配情報に基づく、正確性が保証された低複雑度のアルゴリズムを提供し、ランク1テンソルを計算すること。
• テンソル補完および多次元マルチタスク学習において、さまざまな損失関数下での HoMP の線形収束レートを確立すること。

提案手法

• HoMP は、各反復で目的関数を最も小さくするように勾配情報に基づいて選ばれたランク1成分の和として低ランクテンソルを反復的に構築する。
• 各反復で、テンソルスペクトルノルムの部分問題を解くことでランク1テンソルを特定し、保証された近似比を伴う手法で近似する。
• 最小二乗損失関数を含む目的関数では、ステップサイズの選定に、マッチングパルス、経済的直交マッチングパルス、直交マッチングパルスの3つの戦略を用いる。
• 非凸目的関数では、目的関数の二次近似器を最小化することで重みを決定し、降下動作を保証する。
• 本手法は低ランク構造を活用し、ランク1成分のみを格納することで、ストレージを O((n₁ + ⋯ + nₙ) × r) に削減する。ここで r は反復回数である。
• 凸および非凸の両設定下で収束解析が行われ、テンソル補完および MLMTL において線形収束が確立されている。

実験結果

リサーチクエスチョン

• RQ1 保証された収束性を有する低ランク学習のため、マッチングパルス風のアルゴリズムを高次元テンソルに一般化できるか？
• RQ2 テンソル特異値問題を、保証された近似比を伴って効率的に近似できるか？
• RQ3 提案手法は、テンソル補完および多次元マルチタスク学習における凸および非凸目的関数に対して、線形収束を達成するか？
• RQ4 大規模な設定下で、HoMP のストレージおよび計算複雑度は、SVDに基づく手法や交互最小化手法と比較してどの程度か？
• RQ5 実世界のテンソルデータ（例：影のある顔画像）において、欠損値の補完およびノイズ除去を効果的に実行できるか？

主な発見

• HoMP は、凸および非凸目的関数の両方において、テンソル補完および多次元マルチタスク学習で線形収束を達成し、理論的分析を裏付ける。
• 最終的なテンソルのストレージは O((n₁ + ⋯ + nₙ) × r) のみを要し、RPCA が O(n₁n₂n₃) のストレージを要するのと比べて顕著に低い。
• 60%の欠損値を含む顔画像データセットにおいて、HoMP は欠損値を適切に補完し、影を除去したが、RPCA はすべての値を回復できなかった。
• 同じタスクにおいて、HoMP-G のストレージフットプリントは 169,600 単位であったのに対し、RPCA は 2,064,384 単位であった。
• 特に細かい画像ディテール（線分など）の保持を重視する文脈において、HoMP は影およびスペキュラー反射の除去において RPCA を上回った。
• 図 7 の収束プロットは、目的関数の対数が線形に減少することを確認し、理論的な線形収束レートが妥当であることを裏付けた。