[論文レビュー] A Set-Theoretic Study of the Relationships of Image Models and Priors for Restoration Problems

Bihan Wen, Yanjun Li+2 more|arXiv (Cornell University)|Mar 29, 2020

Sparse and Compressive Sensing Techniques参考文献 40被引用数 7

ひとこと要約

本稿では、画像修復の文脈においてスパarsity、グループ単位のスパarsity、連合スパarsity、低ランク性という画像モデルの集合的理論的分析を提示している。これらのモデルの階層的関係を明らかにするとともに、ノイズ除去効果を定量的に評価している。ノイズの多い画像をモデル集合に射影し、凸結合によって結果を統合することで、特に深層学習と補完的なモデルベースの事前知識（グループ単位のスパarsityや低ランク性）を組み合わせた場合に、より優れたノイズ除去性能が得られる。

ABSTRACT

Image prior modeling is the key issue in image recovery, computational imaging, compresses sensing, and other inverse problems. Recent algorithms combining multiple effective priors such as the sparse or low-rank models, have demonstrated superior performance in various applications. However, the relationships among the popular image models are unclear, and no theory in general is available to demonstrate their connections. In this paper, we present a theoretical analysis on the image models, to bridge the gap between applications and image prior understanding, including sparsity, group-wise sparsity, joint sparsity, and low-rankness, etc. We systematically study how effective each image model is for image restoration. Furthermore, we relate the denoising performance improvement by combining multiple models, to the image model relationships. Extensive experiments are conducted to compare the denoising results which are consistent with our analysis. On top of the model-based methods, we quantitatively demonstrate the image properties that are inexplicitly exploited by deep learning method, of which can further boost the denoising performance by combining with its complementary image models.

研究の動機と目的

• 画像修復の文脈において、スパarsity、グループ単位のスパarsity、連合スパarsity、低ランク性という主な画像モデルの間の理論的関係を明確化すること。
• モデリング誤差と残存ノイズエネルギーの分析を通じて、各画像モデルのノイズ除去効果を評価すること。
• 補完的な画像モデルを組み合わせることで修復性能が向上する理論的条件を提示すること。
• 最先端の深層学習手法（例：DnCNN）が暗黙的に利用する画像の事前知識を特定し、モデルベースの手法と組み合わせることで性能向上を示すこと。
• 画像モデル間の構造的関係を活用して、ハイブリッド修復フレームワークの設計を支援すること。

提案手法

• スパarsity、グループ単位のスパarsity、連合スパarsity、低ランク性の各モデル集合を定義し、集合的理論的手法を用いてそれらの階層的関係を確立する。
• モデルが唯一の事前知識であると仮定し、これらのモデル集合への射影を用いた最尤推定により、画像のノイズ除去を行う。
• 凸結合フレームワークを提案：複数のモデル射影によるノイズ除去結果を固定重み（例：μ=0.5）で結合することでSNRを向上させる。
• 深層学習（DnCNN）とモデルベース手法（KSVD、SSC-GSM、WNNM）を組み合わせる応用を実施し、固定重みを用いて性能向上を評価する。
• 逆問題の代理として画像ノイズ除去を用い、SNRおよびPSNRを評価指標として用い、性能向上を定量的に測定する。
• KodakおよびUrban100データセットを用いた広範な実験により、理論的主張の妥当性を検証するとともに、モデル結合による実証的利得を示す。

実験結果

リサーチクエスチョン

• RQ1 スパarsity、グループ単位のスパarsity、連合スパarsity、低ランク性モデルの解集合の間には、包含関係、同値性、または階層的関係が成立するか？
• RQ2 各画像モデルのノイズ除去効果は、モデリング誤差と残存ノイズエネルギーにどのように依存するか？
• RQ3 2つの補完的な画像モデルを組み合わせた場合、どのような条件下でノイズ除去性能が向上するか？
• RQ4 DnCNNのような深層学習手法が暗黙的に利用する画像の性質は何か？ また、それらをモデルベースの事前知識と組み合わせることで、どのように明示的に強化できるか？
• RQ5 深層学習とモデルベースのノイズ除去結果の単純な凸結合が、最先端手法を上回る顕著な性能向上をもたらすか？

主な発見

• 集合的理論的分析により、低ランク性とグループ単位のスパarsityは、スパarsityと連合スパarsityよりも一般的であることが判明。弱い仮定のもとでベン図的関係が確認された。
• DnCNNとWNNM（低ランクグループモデル）を組み合わせた場合、Urban100データセットにおいてσ=70で0.64 dBのPSNR向上を達成した。一方、DnCNN+KSVDは向上が認められず、DnCNNがすでに局所的スパarsityを捉えていることを示唆している。
• DnCNNとSSC-GSM（グループ単位のスパarsity）の組み合わせにより、σ=70で0.51 dBのPSNR向上が得られた。これは、自己相似性のような非局所的構造がDnCNNでは完全に捉えられていないことを示している。
• μ=0.5の凸結合フレームワークにより、Urban100で顕著な性能向上が得られた。特にDnCNN+WNNMはσ=30で28.82のPSNRを達成し、DnCNN単体（28.16）を上回った。
• 視覚的結果では、DnCNNは微細なディテールを保持するがアーチファクトを生じる一方、WNNMは滑らかな結果を生成するがアーチファクトを含む。両者の組み合わせにより、PSNRと視覚的品質の両方が向上した。
• 本研究では、DnCNNのような深層学習モデルが暗黙的に局所的スパarsityを利用しているが、非局所的自己相似性は完全に捉えていないことが確認された。この性質は、グループ単位のスパarsityおよび低ランクモデルと組み合わせることで回復可能である。