[論文レビュー] Scalable Tensor Completion with Nonconvex Regularization.

Quanming Yao|arXiv (Cornell University)|Jul 23, 2018

Sparse and Compressive Sensing Techniques参考文献 3被引用数 3

ひとこと要約

本稿では、大きな特異値のペナルティを軽減することで低ランク推定におけるバイアスを低減するスケーラブルで非凸な正則化手法を提案する。加速を施したプロキシマル平均ベースのアルゴリズムを用いることで、従来手法と比較して著しく高速な計算と低メモリ使用量を達成し、臨界点への収束を維持するとともに、実験において優れた回復性能を示す。

ABSTRACT

Low-rank tensor completion problem aims to recover a tensor from limited observations, which has many real-world applications. Due to the easy optimization, the convex overlapping nuclear norm has been popularly used for tensor completion. However, it over-penalizes top singular values and lead to biased estimations. In this paper, we propose to use the nonconvex regularizer, which can less penalize large singular values, instead of the convex one for tensor completion. However, as the new regularizer is nonconvex and overlapped with each other, existing algorithms are either too slow or suffer from the huge memory cost. To address these issues, we develop an efficient and scalable algorithm, which is based on the proximal average (PA) algorithm, for real-world problems. Compared with the direct usage of PA algorithm, the proposed algorithm runs orders faster and needs orders less space. We further speed up the proposed algorithm with the acceleration technique, and show the convergence to critical points is still guaranteed. Experimental comparisons of the proposed approach are made with various other tensor completion approaches. Empirical results show that the proposed algorithm is very fast and can produce much better recovery performance.

研究の動機と目的

• 低ランクテンソル補完における凸的重複核ノルム正則化が引き起こすバイアスを軽減すること。
• 高メモリおよび計算コストを回避する効率的でスケーラブルな非凸正則化のためのアルゴリズムを開発すること。
• 直接的なプロキシマル平均の適用に比べて、著しく高速化され、メモリ効率が向上したまま収束保証を維持すること。
• 実世界のデータにおいて、既存のテンソル補完手法と比較して、速度と回復精度の両面で優れるようにすること。

提案手法

• 大きな特異値のペナルティを軽減する非凸正則化子に、凸的重複核ノルムを置き換える。
• 非凸的かつ重複する正則化を効率的に処理するため、プロキシマル平均（PA）フレームワークに基づく新規アルゴリズムを開発する。
• 標準的なPAと比較して、オーダー・オブ・マグニチュードの高速化とメモリ削減を実現する計算およびメモリ最適化を導入する。
• 収束の理論的保証を維持したまま、収束をさらに高速化するための加速技術を適用する。
• 非凸正則化子に特化したプロキシマル作用素を用いた反復最適化により、スケーラブルなテンソル回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸正則化は、凸核ノルム正則化と比較して、低ランクテンソル補完におけるバイアスを低減できるか？
• RQ2 非凸的かつ重複するテンソル正則化に適したプロキシマル平均ベースのアルゴリズムは、スケーラブルかつ効率的に行えるか？
• RQ3 提案手法は、直接的なPA適用と比較して、収束が速く、メモリ使用量が少ないか？
• RQ4 収束保証を損なわず、非凸アルゴリズムに加速技術を適用できるか？
• RQ5 既存のテンソル補完手法と比較して、回復精度と速度の両面で優れるか？

主な発見

• 提案手法は、直接的なプロキシマル平均アルゴリズムの適用と比較して、著しく高速な実行時間と低メモリ消費量を達成した。
• 加速を施しても臨界点への収束を維持しており、理論的信頼性が保証されている。
• 実験結果から、他のテンソル補完手法と比較して優れた回復性能を示し、特に低ランク構造の保持に優れていることが明らかになった。
• 非凸正則化子により特異値推定におけるバイアスが低減され、より正確なテンソル再構成が可能になった。
• 実世界の問題へも効果的にスケーリングでき、合成ベンチマークをはるかに超える実用的応用可能性を示した。