[論文レビュー] Analyzing the Weighted Nuclear Norm Minimization and Nuclear Norm Minimization based on Group Sparse Representation

Zhiyuan Zha, Yuan, Xin+5 more|arXiv (Cornell University)|Feb 15, 2017

Sparse and Compressive Sensing Techniques参考文献 46被引用数 10

ひとこと要約

本稿では、低ランク行列回復における重み付き核ノルム最小化（WNNM）が核ノルム最小化（NNM）を上回る理由を数学的に説明するため、グループスパース表現（GSR）に基づくフレームワークを提案する。適応的辞書を設計することでGSRとランク最小化を結びつけ、NNMとWNNMがそれぞれグループ上でのℓ₁および重み付きℓ₁最小化に対応することを導出し、SVDの不安定性を回避するための適応的重み設定を導入した。画像ノイズ除去および穴埋め処理の分野で最先端の結果を達成した。

ABSTRACT

Rank minimization methods have attracted considerable interest in various areas, such as computer vision and machine learning. The most representative work is nuclear norm minimization (NNM), which can recover the matrix rank exactly under some restricted and theoretical guarantee conditions. However, for many real applications, NNM is not able to approximate the matrix rank accurately, since it often tends to over-shrink the rank components. To rectify the weakness of NNM, recent advances have shown that weighted nuclear norm minimization (WNNM) can achieve a better matrix rank approximation than NNM, which heuristically set the weight being inverse to the singular values. However, it still lacks a sound mathematical explanation on why WNNM is more feasible than NNM. In this paper, we propose a scheme to analyze WNNM and NNM from the perspective of the group sparse representation. Specifically, we design an adaptive dictionary to bridge the gap between the group sparse representation and the rank minimization models. Based on this scheme, we provide a mathematical derivation to explain why WNNM is more feasible than NNM. Moreover, due to the heuristical set of the weight, WNNM sometimes pops out error in the operation of SVD, and thus we present an adaptive weight setting scheme to avoid this error. We then employ the proposed scheme on two low-level vision tasks including image denoising and image inpainting. Experimental results demonstrate that WNNM is more feasible than NNM and the proposed scheme outperforms many current state-of-the-art methods.

研究の動機と目的

• 低ランク行列回復における重み付き核ノルム最小化（WNNM）が核ノルム最小化（NNM）を上回る優れた性能を示す理由を、厳密な数学的説明を提供すること。
• 適応的辞書学習法を用いて、グループスパース表現（GSR）とランク最小化モデルの間のギャップを埋めること。
• WNNMにおけるヒューリスティックな重み設定がSVD演算に及ぼす不安定性を回避するため、適応的重み設定戦略を提案すること。
• 提案されたフレームワークを、画像ノイズ除去および画像穴埋め処理を含む実世界の低レベルビジョンタスクに適用し、既存手法と比較して優れた性能を示すこと。

提案手法

• 行列の特異値グループをスパース表現にマッピングするための適応的辞書学習法を設計し、GSRとランク最小化の間の接続を可能にする。
• 核ノルム最小化（NNM）がグループスパース表現上のℓ₁ノルム最小化と数学的に同等であることを証明する。
• 重み付き核ノルム最小化（WNNM）がGSRフレームワーク内での重み付きℓ₁ノルム最小化に対応することを示し、その性能向上を正当化する。
• 特異値の大きさに基づく適応的重み設定戦略を導入し、WNNMにおけるSVD計算中の数値誤差を防止する。
• 非局所的パッチグループ化を用いて、GSR-WNNMモデルを画像修復パイプラインに統合し、ノイズ除去および穴埋め処理に適用する。
• 効率的な特異値しきい値処理とグループワイドなスパースコーディングを用いて、交替方向乗数法（ADMM）によるモデル最適化を行う。

実験結果

リサーチクエスチョン

• RQ1 両者ともランク最小化の凸緩和であるにもかかわらず、低ランク行列回復においてなぜ重み付き核ノルム最小化（WNNM）が核ノルム最小化（NNM）を上回るのか？
• RQ2 WNNMの優位性は、特にグループスパース表現（GSR）フレームワークを通じて形式的に説明可能か？
• RQ3 WNNMにおけるヒューリスティックな重み割り当ては、SVD計算中の数値的不安定性を引き起こすが、これをどのように改善できるか？
• RQ4 提案されたGSRベースのフレームワークは、SOTA手法と比較して、ノイズ除去や穴埋め処理といった実用的画像修復タスクでより優れた性能を示すか？

主な発見

• 画像穴埋め処理において、GSR-WNNMはSALSAに対して平均で3.32 dB、BPFAに対して1.72 dB、GSR-NNMに対して2.20 dBのPSNR向上を達成した。
• 80%のピクセルが欠損した「Mickey」画像において、GSR-WNNMはPSNR 33.67 dB、SSIM 0.9651を達成し、IPPO（32.74 dB）およびJSM（31.96 dB）を上回った。
• 80%のピクセルが欠損した「Starfish」画像において、GSR-WNNMはPSNR 34.27 dB、SSIM 0.9535を達成し、BPFA（33.13 dB）およびNGS（24.62 dB）を顕著に上回った。
• 視覚的結果では、GSR-WNNMはリングアーチファクトを排除し、鋭いエッジと繊細なテクスチャを保持しているのに対し、SALSA、NGS、GSR-NNMはそれらを劣化させている。
• 適応的重み設定戦略により、ヒューリスティックなWNNM実装に見られるSVD関連の数値誤差が効果的に回避された。
• 数学的導出により、WNNMがGSRフレームワーク内での重み付きℓ₁最小化に対応することが確認され、NNMに対する性能向上の理論的根拠が得られた。