[論文レビュー] From Rank Estimation to Rank Approximation: Rank Residual Constraint for Image Restoration

Zhiyuan Zha, Xin Yuan+4 more|arXiv (Cornell University)|Jul 6, 2018

Image and Signal Denoising Methods参考文献 83被引用数 3

ひとこと要約

本稿では、劣化観測と参照画像群の間のランク残差を最小化することで、繰り返し元の低ランク構造を近似する、画像復元のための新しいランク残差制約（RRC）モデルを提案する。非局所的自己類似性の事前知識とグループベースのスパース表現を統合することで、RRCは画像ノイズ除去および圧縮アーチファクト低減において優れた性能を発揮し、客観的・主観的品質の両面で最先端の手法を上回る。

ABSTRACT

In this paper, we propose a novel approach to the rank minimization problem, termed rank residual constraint (RRC) model. Different from existing low-rank based approaches, such as the well-known nuclear norm minimization (NNM) and the weighted nuclear norm minimization (WNNM), which estimate the underlying low-rank matrix directly from the corrupted observations, we progressively approximate the underlying low-rank matrix via minimizing the rank residual. Through integrating the image nonlocal self-similarity (NSS) prior with the proposed RRC model, we apply it to image restoration tasks, including image denoising and image compression artifacts reduction. Towards this end, we first obtain a good reference of the original image groups by using the image NSS prior, and then the rank residual of the image groups between this reference and the degraded image is minimized to achieve a better estimate to the desired image. In this manner, both the reference and the estimated image are updated gradually and jointly in each iteration. Based on the group-based sparse representation model, we further provide a theoretical analysis on the feasibility of the proposed RRC model. Experimental results demonstrate that the proposed RRC model outperforms many state-of-the-art schemes in both the objective and perceptual quality.

研究の動機と目的

• 核ノルム最小化（NNM）や重み付き核ノルム最小化（WNNM）といった従来の低ランク行列回復手法が特徴値を過剰に圧縮し、柔軟性に欠けるという限界を是正すること。
• 直接的なランク推定から段階的ランク近似への移行により、低ランク行列推定に対してより柔軟で正確なアプローチを構築すること。
• ランク残差の繰り返し最小化によって、参照画像群と推定画像を同時に更新することで、画像復元性能を向上させること。
• RRCモデルに非局所的自己類似性（NSS）事前知識を統合し、復元画像の構造的忠実性と主観的品質を向上させること。
• グループベースのスパース表現を用いて理論的基盤を構築し、特定の条件下でRRCモデルがスパースコーディング定式化と等価であることを証明すること。

提案手法

• 直接的に低ランク行列を推定する代わりに、参照画像群と観測された劣化画像の間のランク構造の差を最小化するランク残差制約（RRC）モデルを提案する。
• 類似する画像パッチが低ランクグループを形成することを活用し、非局所的自己類似パッチをモデル化するためにグループベースのスパース表現（GSR）フレームワークを採用する。
• 参照画像群と推定画像を交互に更新することで、ランク残差の最小化を繰り返し行い、低ランク近似を段階的に改善する。
• ユニタリ変換と特異値分解を用いて導出された変換領域におけるソフトスレッショルド処理により、最適化問題に対する閉形式解を導入する。
• RRCモデルとグループベースのスパース表現（GSRC）の理論的同等性を確立し、ランク残差の最小化が適応的辞書を用いたスパースコーディング問題の解法と等価であることを証明する。
• 2段階の交互最適化を用いる：まずSVDを用いて変換行列を推定し、次にソフトスレッショルド処理によりスパース係数を解くことで、計算効率と収束性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ランク残差最小化による段階的ランク近似は、画像復元タスクにおいて直接的な低ランク推定を上回る性能を発揮するか？
• RQ2 ランク残差制約と非局所的自己類似性を統合することで、従来の低ランクモデルと比較して復元品質がどのように向上するか？
• RQ3 NNMやWNNMと比較して、提案されたRRCモデルは特徴値の過剰圧縮をどの程度軽減するか？
• RQ4 RRCモデルは理論的にグループベースのスパース表現と同等であるか？この同等性はその優れた性能を正当化するか？
• RQ5 参照画像群と推定画像群の繰り返し共同更新は、画像ノイズ除去および圧縮アーチファクト低減において、より良い収束性と主観的品質をもたらすか？

主な発見

• 提案されたRRC手法は、標準的な画像復元ベンチマークにおいてPSNRおよびSSIM指標で、NNM、WNNM、および他の低ランクモデルを上回る優れた客観的性能を達成した。
• RRCモデルは視覚的検証およびユーザースタディにより、主観的品質が顕著に向上したことが確認され、復元画像は鋭いエッジとより自然なテクスチャを示した。
• 繰り返しランク残差最小化プロセスにより、特徴値が真値に段階的に収束することが、反復回数ごとの特徴値プロットから明らかになった。
• 理論的分析により、特定の仮定下でRRCモデルがグループベースのスパース表現（GSRC）と同等であることが確認され、その有効性に数学的基盤が与えられた。
• 残差最小化プロセスによる特徴値の適応的重み付けにより、特徴値の過剰圧縮が効果的に低減され、構造的詳細の保存が向上した。
• 実験的結果から、参照画像群と推定画像群の共同更新が、特に高ノイズおよび高圧縮状況において、復元精度を向上させることを示した。