[論文レビュー] Truncated nuclear norm regularization for low-rank tensor completion

Shengke Xue, Wenyuan Qiu+2 more|arXiv (Cornell University)|Jan 7, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、テンソルの低ランク補完のための新規なテンソルトレuncated核ノルム（T-TNN）を提案する。これは、テンソルのスカラーバリエーションのトレuncated核ノルムを、テンソル特異値分解（t-SVD）を用いて拡張したものである。フーリエドメインにおける前面スライスにわたる最小の特異値の和を最小化することにより、低ランク近似の精度が向上し、収束が加速される。実験の結果、T-TNNは画像および動画回復において既存手法を上回り、PSNRが高く、ADMMおよびAPGLソルバーを用いた収束が速いことが示された。

ABSTRACT

Recently, low-rank tensor completion has become increasingly attractive in recovering incomplete visual data. Considering a color image or video as a three-dimensional (3D) tensor, existing studies have put forward several definitions of tensor nuclear norm. However, they are limited and may not accurately approximate the real rank of a tensor, and they do not explicitly use the low-rank property in optimization. It is proved that the recently proposed truncated nuclear norm (TNN) can replace the traditional nuclear norm, as an improved approximation to the rank of a matrix. In this paper, we propose a new method called the tensor truncated nuclear norm (T-TNN), which suggests a new definition of tensor nuclear norm. The truncated nuclear norm is generalized from the matrix case to the tensor case. With the help of the low rankness of TNN, our approach improves the efficacy of tensor completion. We adopt the definition of the previously proposed tensor singular value decomposition, the alternating direction method of multipliers, and the accelerated proximal gradient line search method in our algorithm. Substantial experiments on real-world videos and images illustrate that the performance of our approach is better than those of previous methods.

研究の動機と目的

• 既存のテンソル核ノルムがテンソルランクを正確に近似する点での限界を克服すること。
• 行列からテンソルへのトレuncated核ノルムの一般化を通じて、低ランクテンソル補完を改善すること。
• 最適化において低ランク構造をより明示的に活用し、回復性能を向上させること。
• t-SVDと加速ソルバー（ADMM、APGL）を用いた効率的なアルゴリズムの開発により、収束を高速化すること。
• 最先端の手法と比較して、実世界の画像および動画データセットにおいて優れた性能を示すこと。

提案手法

• トレuncated核ノルムに基づく新しいテンソル核ノルムの定義を提案し、t-SVDフレームワーク内での前面スライスにわたる最小特異値の和を最小化する。
• テンソル特異値分解（t-SVD）を用いてテンソルをフーリエ変換された前面スライスに分解し、特異値操作を可能にする。
• 制約付き最小化問題を効率的に解くために、交替方向乗数法（ADMM）および加速プロキシマル勾配ラインサーチ（APGL）を適用する。
• 最大r個の特異値を無視するトレuncated核ノルム正則化を実装し、標準核ノルムよりも優れたランク近似を実現する。
• 観測済みエントリが元のデータと一致する制約下でT-TNNを最小化することで、低ランクテンソル補完問題を解く。
• 非凸的だがタイトなランク近似を実現するため、フーリエドメインでソフトスレッショーティングに類似した更新を採用する。

実験結果

リサーチクエスチョン

• RQ1 行列補完からのトレuncated核ノルムが、低ランク近似の向上に寄与するように、テンソルケースに効果的に一般化可能か？
• RQ2 t-SVDフレームワークを用いることで、SMNN や ATNN といった既存手法と比較して、より優れたテンソル核ノルム定義が可能か？
• RQ3 トレuncated核ノルムは、標準核ノルムや Tubal-NN と比較して、テンソル補完における収束速度と回復精度をどのように向上させるか？
• RQ4 提案された T-TNN 法は、最先端のテンソル補完アルゴリズムと比較して、より高い PSNR とより速い収束を達成できるか？
• RQ5 性能は、切り捨てられる特異値の数（r）の選択にどれほど敏感か？よりロバストにできるか？

主な発見

• T-TNN は、50%のエントリが欠損している実世界の画像および動画データセットにおいて、LRMC、TNNR、SMNN、ATNN、Tubal-NN と比較して、すべての手法を上回る高い PSNR を達成した。
• ADMM および APGL ソルバーを用いた T-TNN は、Tubal-NN や LRMC よりも著しく収束が速く、APGL は ADMM よりも反復回数が少ない。
• T-TNN の実行時間は、1枚の画像あたり常に40秒未満であり、精度を維持しながら、Tubal-NN や LRMC よりも高速であった。
• 視覚的結果では、T-TNN ADMM および APGL は、LRMC、TNNR、SMNN、ATNN よりも明確な再構成を実現し、アーチファクトが少なく、Tubal-NN と視覚的に同等の性能を示した。
• SMNN および ATNN は一部のケースで LRMC よりも性能が劣っており、テンソル核ノルム定義として不適切であることが示された。
• Tubal-NN は SMNN や ATNN よりも優れていたが、PSNR および収束速度の両面で、本稿で提案された T-TNN に劣っていた。