[論文レビュー] Depth image denoising using nuclear norm and learning graph model

Chenggang Yan, Zhisheng Li+4 more|arXiv (Cornell University)|Aug 9, 2020

Image and Signal Denoising Methods参考文献 46被引用数 12

ひとこと要約

本稿では、学習されたグラフラプラシアン行列を用いて低ランクおよび非局所自己類似性の事前知識を活用することで、滑らかさを向上させる、グループベースの核ノルムと学習グラフ（GNNLG）モデルを、深度画像のノイズ除去のために提案する。ADMMを用いた最適化により、PSNRおよびSSIMの両面で最先端の性能を達成し、σ = 30までのノイズレベルを有するベンチマーク深度画像において、既存手法を上回る結果を得た。

ABSTRACT

The depth images denoising are increasingly becoming the hot research topic nowadays because they reflect the three-dimensional (3D) scene and can be applied in various fields of computer vision. But the depth images obtained from depth camera usually contain stains such as noise, which greatly impairs the performance of depth related applications. In this paper, considering that group-based image restoration methods are more effective in gathering the similarity among patches, a group based nuclear norm and learning graph (GNNLG) model was proposed. For each patch, we find and group the most similar patches within a searching window. The intrinsic low-rank property of the grouped patches is exploited in our model. In addition, we studied the manifold learning method and devised an effective optimized learning strategy to obtain the graph Laplacian matrix, which reflects the topological structure of image, to further impose the smoothing priors to the denoised depth image. To achieve fast speed and high convergence, the alternating direction method of multipliers (ADMM) is proposed to solve our GNNLG. The experimental results show that the proposed method is superior to other current state-of-the-art denoising methods in both subjective and objective criterion.

研究の動機と目的

• 深度カメラからの深度画像におけるノイズ汚染の課題に取り組み、3Dビジョン応用の性能を低下させることを目的とする。
• 深度画像が有する内在的な低ランク性および非局所自己類似性の性質を活用し、より優れたノイズ除去を実現することを目的とする。
• 画像ピクセルの内在的な多様体構造を捉える、頑健なグラフラプラシアン構築法を開発することを目的とする。
• 非凸なノイズ除去モデルに対して、高速収束性と高い安定性を有する効率的な最適化フレームワークを設計することを目的とする。
• 定量的指標および視覚的品質の両面で、既存の最先端手法を上回ることを目的とする。

提案手法

• 各ピクセルの周囲の探索窓から類似したピクセル群をグループ化し、非局所自己類似性を活用する。
• グループ化されたピクセル群に核ノルム正則化を適用し、低ランク構造を強制することで、画像の内在的コンテンツをモデル化する。
• データからグラフラプラシアン行列を学習し、画像ピクセルの内在的トポロジカル構造を表現する。
• データ適合性、低ランク性、グラフ正則化項を組み合わせた連合最適化問題を定式化する。
• 非凸最適化を効率的に解くために、交替方向乗数法（ADMM）を用いる。
• 局所的な画像構造に適応するイテレーティブ戦略により、グラフラプラシアンを最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習されたグラフ正則化を組み込んだグループベースの低ランクモデルは、既存手法に比べて深度画像のノイズ除去を改善できるか？
• RQ2 固定距離に基づくグラフ構築法と比較して、学習されたグラフラプラシアンは画像構造をどれほど正確に捉えられるか？
• RQ3 核ノルムとグラフベースの事前知識を統合することで、PSNRおよびSSIMの観点からより優れたノイズ除去性能が得られるか？
• RQ4 ADMMは、提案された非凸最適化を高速収束性と安定性を伴って効率的に解けるか？
• RQ5 この手法は、ノイズが強い深度画像において、細かいディテールやエッジをどれほど効果的に保持できるか？

主な発見

• 提案されたGNNLG手法は、σ = 25の条件下で平均PSNR 37.36 dB、SSIM 0.9539を達成し、比較されたすべての手法を上回った。
• σ = 30の条件下でも、GNNLGは平均PSNR 36.20 dB、SSIM 0.9463を達成し、NLM、CSR、NLGBT、BM3D、WNNMを顕著に上回った。
• Moebius、Teddy、Art、Conesなどの画像における視覚的比較では、GNNLGがNLM、BM3D、WNNMよりも細かい構造をよりよく保持し、アーチファクトを効果的に低減していた。
• σ = 15のMoebius画像において、PSNRが41.37 dBに達し、BM3D（40.71 dB）およびWNNM（40.28 dB）を上回った。
• ADMMベースのソルバーは、高い収束速度と安定性を示し、アルゴリズムの頑健性と自己適応性を裏付けた。
• 学習されたグラフラプラシアンは、非局所自己類似性および内在的多様体構造を効果的に捉えており、優れた滑らかさとノイズ抑制効果をもたらした。