[論文レビュー] Double Weighted Truncated Nuclear Norm Regularization for Low-Rank Matrix Completion

Shengke Xue, Wenyuan Qiu+2 more|arXiv (Cornell University)|Jan 7, 2019

Sparse and Compressive Sensing Techniques参考文献 26被引用数 11

ひとこと要約

本稿では、観測要素の密度に基づいて行および列固有の重みを割り当て、反復的ソルバーの代わりに1ステップの勾配降下更新を用いることで収束を加速する、新しい行列補完手法である二重重み付き切断核ノルム正則化（DW-TNNR）を提案する。従来のTNNRと比較して、収束が速く、ランク推定誤差に対してより頑健である。視覚的データセットを用いた実証的評価により、速度と精度の両面で優れた性能を示した。

ABSTRACT

Matrix completion focuses on recovering a matrix from a small subset of its observed elements, and has already gained cumulative attention in computer vision. Many previous approaches formulate this issue as a low-rank matrix approximation problem. Recently, a truncated nuclear norm has been presented as a surrogate of traditional nuclear norm, for better estimation to the rank of a matrix. The truncated nuclear norm regularization (TNNR) method is applicable in real-world scenarios. However, it is sensitive to the selection of the number of truncated singular values and requires numerous iterations to converge. Hereby, this paper proposes a revised approach called the double weighted truncated nuclear norm regularization (DW-TNNR), which assigns different weights to the rows and columns of a matrix separately, to accelerate the convergence with acceptable performance. The DW-TNNR is more robust to the number of truncated singular values than the TNNR. Instead of the iterative updating scheme in the second step of TNNR, this paper devises an efficient strategy that uses a gradient descent manner in a concise form, with a theoretical guarantee in optimization. Sufficient experiments conducted on real visual data prove that DW-TNNR has promising performance and holds the superiority in both speed and accuracy for matrix completion.

研究の動機と目的

• 低ランク行列補完における切断核ノルム正則化（TNNR）の収束が遅く、ランクパラメータ $ r $ に敏感である問題に対処すること。
• 観測要素の密度がより高い行および列における欠損要素の回復を優先することで、行列補完を加速すること。
• TNNRにおける反復的サブプロブレムソルバーを、効率性を高める閉形式の勾配降下更新に置き換えること。
• 実用的性能を向上させつつ、理論的収束保証を確保すること。

提案手法

• 各行および各列に、それぞれの次元における観測要素数に基づいて別個の重みを割り当てる二重重み付けを導入する。
• TNNRの2番目のステップにおけるサブプロブレムを解くために、ADMM や APGL などの反復的スキームの代わりに1ステップ勾配降下更新を適用する。
• 効率的な最適化のための閉形式更新式 $ \mathbf{X}_{k+1} = \mathbf{X}_k - \frac{1}{\alpha_k} \mathbf{P}^{-2}(\mathbf{A}_k^T\mathbf{B}_k - \mathbf{C}_k^T\mathbf{D}_k)\mathbf{Q}^{-2} $ を導出する。
• 収束を保証するため、増加する $ \mu_t $ を用いたラインサーチ戦略を採用し、局所収束の理論的証明を行う。
• 核ノルム最小化に重み付けスキームを統合し、回復が容易な要素を最初に優先する。
• 許容誤差 $ \varepsilon $ に基づいて停止基準を制御するスケーリングされた $ \alpha_k = \rho \alpha_{k-1} $ 戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 行および列固有の重み付けは、低ランク行列補完における収束速度を向上させ得るか？
• RQ2 反復的サブプロブレムソルバーを1ステップ勾配降下更新に置き換えることで、精度が維持または向上するか？
• RQ3 提案手法は、切断特異値の数 $ r $ の選択に対してどれほど頑健か？
• RQ4 理論的収束保証を伴いながら、より速い収束を達成できるか？
• RQ5 重み付けスキームは、TNNRと比較して実際の視覚的データにおいて性能を向上させるか？

主な発見

• DW-TNNRは、ADMM や APGL などの反復的ソルバーの代わりに1ステップ勾配降下更新を用いることで、TNNRよりも収束が速い。
• 本手法は、切断特異値の数 $ r $ の選択に対して、TNNRよりもより頑健である。
• 実際の視覚的データを用いた実験により、DW-TNNRは再構成精度と計算速度の両面でTNNRを上回っている。
• 理論的分析により、適切なステップサイズ制御のもとで、提案された勾配降下スキームの局所収束が確認された。
• 許容誤差 $ \varepsilon $ と $ \alpha_k $ に基づく停止基準により、有限回の反復内で収束が保証される。
• 観測密度の高い行および列における欠損要素を優先することで、高速化が達成され、回復が容易な成分を早期に回復できる。