[論文レビュー] Accelerated and Inexact Soft-Impute for Large-Scale Matrix and Tensor Completion

Quanming Yao, James T. Kwok|arXiv (Cornell University)|Mar 16, 2017

Sparse and Compressive Sensing Techniques参考文献 54被引用数 4

ひとこと要約

本稿では、大規模な行列およびテンソル補完のための高速化かつ非正確な Soft-Impute アルゴリズムを提案する。この手法は、効率的な SVD 計算のための 'スパース＋低ランク' 構造を保持する。ネステロフ風の加速と、パワー法に基づく近似特異値しきい値処理を組み合わせることで、1回の反復における計算量を著しく削減しながら、O(1/T²) の収束速度を達成する。合成データおよび実世界のデータセットにおいて、最先端の手法を上回る速度と回復精度を示した。

ABSTRACT

Matrix and tensor completion aim to recover a low-rank matrix / tensor from limited observations and have been commonly used in applications such as recommender systems and multi-relational data mining. A state-of-the-art matrix completion algorithm is Soft-Impute, which exploits the special "sparse plus low-rank" structure of the matrix iterates to allow efficient SVD in each iteration. Though Soft-Impute is a proximal algorithm, it is generally believed that acceleration destroys the special structure and is thus not useful. In this paper, we show that Soft-Impute can indeed be accelerated without comprising this structure. To further reduce the iteration time complexity, we propose an approximate singular value thresholding scheme based on the power method. Theoretical analysis shows that the proposed algorithm still enjoys the fast $O(1/T^2)$ convergence rate of accelerated proximal algorithms. We further extend the proposed algorithm to tensor completion with the scaled latent nuclear norm regularizer. We show that a similar "sparse plus low-rank" structure also exists, leading to low iteration complexity and fast $O(1/T^2)$ convergence rate. Extensive experiments demonstrate that the proposed algorithm is much faster than Soft-Impute and other state-of-the-art matrix and tensor completion algorithms.

研究の動機と目的

• 既存の Soft-Impute や加速プロキシマル法における計算ボトル neck を克服するため、加速の過程でも 'スパース＋低ランク' 構造を保持することを目的とする。
• PROPACK を用いた正確な SVD の代わりに、パワー法に基づく近似特異値しきい値処理を導入することで、行列およびテンソル補完における1反復あたりの計算量を低減することを目的とする。
• スケーリングされた潜在的核ノルム正則化子を用いて、加速 Soft-Impute フレームワークをテンソル補完に拡張し、低反復コストと高速収束を維持することを目的とする。
• 非凸な低ランク正則化子（例：切り捨て核ノルム、対数和ペナルティ）が、凸核ノルム正則化よりも実験的性能を向上させることを示すこと。
• 提案手法を大規模な実世界データセットに対して実験的に検証し、最先端の手法と比較して優れた速度と精度を示すこと。

提案手法

• 本稿では、行列反復において 'スパース＋低ランク' 構造を維持することで、加速の過程でも効率的な SVD 計算が可能になるように、加速 Soft-Impute アルゴリズムを提案する。
• パワー法を用いた近似特異値しきい値処理（SVT）スキームを導入し、主な特異値と特異ベクトルを計算することで、PROPACK を用いた正確な SVD と比較して1反復あたりのコストを低減する。
• 理論的分析により、非正確な SVT を用いても、加速プロキシマル法と同等の O(1/T²) の収束速度を保証できることを示した。
• スケーリングされた潜在的核ノルム正則化子を活用することで、テンソルの行列化においても同様の 'スパース＋低ランク' 構造を保持し、テンソル補完への応用を可能にした。
• 切り捨て核ノルムや対数和ペナルティといった非凸な低ランク正則化子をフレームワークに統合し、凸核ノルムよりも優れた実験的性能を示した。
• 任意の滑らかで凸な損失関数に対応できるように、後処理手順を拡張することで、多様な補完タスクへの柔軟性と適用可能性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 加速の過程で、効率的な SVD 計算を可能にする 'スパース＋低ランク' 構造を失うことなく、Soft-Impute アルゴリズムを高速化できるか？
• RQ2 パワー法に基づく近似特異値しきい値処理を用いることで、1反復あたりの計算量を削減しながらも、O(1/T²) の収束速度を維持できるか？
• RQ3 スケーリングされた潜在的核ノルム正則化子を用いてテンソル補完に拡張した場合、加速かつ非正確な Soft-Impute 法が高速収束と低反復コストを維持できるか？
• RQ4 切り捨て核ノルムや対数和ペナルティといった非凸な低ランク正則化子を、加速 Soft-Impute フレームワークに効果的に統合できるか？また、凸核ノルム正則化より性能が向上するか？
• RQ5 大規模な実世界データセットにおいて、提案手法は最先端の行列およびテンソル補完手法と比較して、速度と精度の両面で優れているか？

主な発見

• 提案された加速かつ非正確な Soft-Impute アルゴリズムは、パワー法による近似 SVD を用いても、O(1/T²) の収束速度を達成し、理論的収束保証を維持した。
• YouTube データセットのサブセットにおいて、AIS-Impute はモードランク 33, 33, 0 の条件下で RMSE 0.616 ± 0.029 を達成し、精度と速度の両面で GeomCG（0.672 ± 0.050）および TMac（0.786 ± 0.027）を上回った。
• フル YouTube データセットにおいて、AIS-Impute はモードランク 70, 70, 0 の条件下で RMSE 0.369 ± 0.006 を達成し、回復精度において GeomCG（0.388 ± 0.001）および TMac（0.611 ± 0.007）を顕著に上回った。
• 大規模データにおいて優れた高速性を示した。CPU 時間の比較により、ADMM(overlap) や FaLRTC は大規模データセットではあまりに遅く、全スケールデータには不適切であるのに対し、本手法はそれを上回った。
• 非凸正則化子（例：切り捨て核ノルム、対数和ペナルティ）を用いることで、凸核ノルムよりも優れた実験的性能が得られ、低ランク近似における利点が確認された。
• スケーリングされた潜在的核ノルム正則化子を用いたテンソル補完への拡張により、'スパース＋低ランク' 構造が効果的に保持され、テンソル設定下でも効率的な計算と O(1/T²) の高速収束が実現された。