[論文レビュー] Markov Random Field Model-Based Salt and Pepper Noise Removal

Ahmadreza Baghaie|arXiv (Cornell University)|Sep 20, 2016

Image and Signal Denoising Methods参考文献 44被引用数 3

ひとこと要約

本稿では、平滑性事前分布を用いた画像補完として問題を定式化し、塩とコショウノイズ除去のためのグラフカットを用いたα拡張移動を用いたマルコフ確率場（MRF）モデルを提案する。この手法は、ベイズ的伝搬、ツリー再重み付けメッセージパッシング、反復的条件モードと比較して優れたピークサイナリオノイズ比（PSNR）と高速な計算時間を達成しており、最大90％の破損が生じる画像における固定値インパルスノイズ低減の有効性を示している。

ABSTRACT

Problem of impulse noise reduction is a very well studied problem in image processing community and many different approaches have been proposed to tackle this problem. In the current work, the problem of fixed value impulse noise (salt and pepper) removal from images is investigated by use of a Markov Random Field (MRF) models with smoothness priors. After the formulation of the problem as an inpainting problem, graph cuts with $α$-expansion moves are considered for minimization of the energy functional. As for comparisons, several other minimization techniques that are widely used for MRF models' optimization are considered and the results are compared using Peak-Signal-to-Noise-Ratio (PSNR) and Structural Similarity Index (SSIM) as metrics. The investigations show the superiority of graph cuts with $α$-expansion moves over the other techniques both in terms of PSNR and also computational times.

研究の動機と目的

• デジタル画像における固定値インパルスノイズ（塩とコショウ）の長年の問題を確率的グラフィカルモデルを用いて解決すること。
• 平滑性事前分布を用いたMRF（マルコフ確率場）を用いた画像補完の応用を検討すること。
• MRFベースのノイズ低減における複数のエネルギー最小化手法の性能と効率を評価・比較すること。
• アップサンプリングを構造的補完問題として扱うことで、提案フレームワークを単一画像スーパーレゾリューションに拡張可能であることを示すこと。

提案手法

• ノイズが発生した画素を特定するため、最小/最大値検出を実行し、ノイズ領域を示す2値マスクを生成する。
• ノイズ除去問題を、平滑性事前分布を用いたマルコフ確率場（MRF）モデルとして画像補完問題として定式化する。
• データ適合性（マスクに基づく）と平滑性項を組み合わせたエネルギー関数を定義し、再構築領域における空間的一致性を促進する。
• エネルギー関数の最小化に、α拡張移動を用いたグラフカットを採用し、拡張移動による効率的な最適化を活用する。
• MRFモデルにおける局所的平滑性制約を定義するために、1階の4近傍ノードシステムを用いる。
• 標準テスト画像を用いて、ノイズレベル10％から90％の範囲でPSNRとSSIMを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 平滑性事前分布を用いたマルコフ確率場モデルは、塩とコショウノイズで破損した画像の復元に有効に機能するか？
• RQ2 グラフカットにα拡張移動を用いた手法は、ベイズ的伝搬、TRW-S、ICMなどの他のMRF最適化手法と比較して、ノイズ除去におけるPSNRと計算時間の面で優れているか？
• RQ3 提案されたMRFベースの補完フレームワークは、単一画像スーパーレゾリューションなどの他の画像修復タスクへ一般化可能か？
• RQ4 1階近傍系と高階近傍系（例：1階 vs. 高階）の違いが、再構築画像の品質にどのように影響するか？

主な発見

• α拡張移動を用いたグラフカットを用いた本手法は、全テストノイズレベルで最高のPSNR値を達成しており、ベイズ的伝搬、ツリー再重み付けメッセージパッシング、反復的条件モードを著しく上回っている。
• 1イテレーションあたりのコストは高いが、α拡張移動を用いたグラフカットは少ないイテレーションで収束するため、他の最適化手法と比較して全体の計算時間が短い。
• SSIM（構造的類似性）の値も高く維持されており、各手法間で差がほとんどなく、画像構造の保存が一貫していることが示された。
• 本フレームワークは単一画像スーパーレゾリューションへの応用が可能であり、2倍のアップサンプリング要因を用いて低解像度入力から高解像度画像を効果的に再構築できた。
• 2倍のスーパーレゾリューションにおいて、Peppers画像ではPSNRが28.58、SSIMが0.81を達成しており、他のMRF最適化手法を上回った。
• 今後の改善は、特にエッジ付近でより多くの文脈的情報を組み込むために高階近傍系の導入による可能性がある。