[論文レビュー] Block-Matching Convolutional Neural Network for Image Denoising

Byeongyong Ahn, Nam Ik Cho|arXiv (Cornell University)|Apr 3, 2017

Image and Signal Denoising Methods参考文献 37被引用数 26

ひとこと要約

本稿では、類似パッチを3次元ブロックにグループ化することで、非局所的自己同一性（NSS）の事前知識とディープラーニングを統合するハイブリッド画像ノイズ除去手法であるブロックマッチング畳み込みニューラルネットワーク（BMCNN）を提案する。この手法は、ブロックマッチングのためのパイロット信号として事前にノイズ除去された画像を用い、3次元パッチ群をCNNでノイズ除去することで、規則的・不規則的両方の画像構造において最先端の性能を達成する。

ABSTRACT

There are two main streams in up-to-date image denoising algorithms: non-local self similarity (NSS) prior based methods and convolutional neural network (CNN) based methods. The NSS based methods are favorable on images with regular and repetitive patterns while the CNN based methods perform better on irregular structures. In this paper, we propose a block-matching convolutional neural network (BMCNN) method that combines NSS prior and CNN. Initially, similar local patches in the input image are integrated into a 3D block. In order to prevent the noise from messing up the block matching, we first apply an existing denoising algorithm on the noisy image. The denoised image is employed as a pilot signal for the block matching, and then denoising function for the block is learned by a CNN structure. Experimental results show that the proposed BMCNN algorithm achieves state-of-the-art performance. In detail, BMCNN can restore both repetitive and irregular structures.

研究の動機と目的

• 純粋にCNNに依存するノイズ除去手法の限界を克服する。これらの手法は非局所的自己同一性（NSS）を活用できず、規則的・繰り返しのあるパターンでは性能が劣る。
• 従来のNSSに基づく手法の硬直性に対処する。これらの手法は手作業で設計された事前知識に依存し、パラメータの手動チューニングが必要である。
• 局所的なCNN学習とグローバルなNSS構造を同時に活用するデータ駆動型フレームワークを構築し、ノイズ除去性能を向上させる。
• 局所的パッチ特性とグローバルな自己同一パターンの両方を尊重する最適なノイズ除去関数をエンド・ツー・エンドで学習可能にする。

提案手法

• 入力ノイズ画像に対して既存のノイズ除去アルゴリズム（例：DnCNNやBM3D）を適用し、ブロックマッチング用のパイロット信号を生成する。
• パイロット信号上でブロックマッチングを実行し、類似した局所的パッチを3次元配列にグループ化し、空間的関係を保持する。
• 3次元CNNを訓練して、類似パッチの3次元ブロックをノイズ除去出力にマッピングさせ、データ駆動型のノイズ除去関数を学習する。
• パッチサイズ20×20が、情報量とマッチング精度のバランスを最適化するとして、最適とされる。
• 計算コストと再構成品質のバランスを取るために、パッチサイズのおおよそ半分のストライドを用いる。
• 重み付き平均化方式を用いて、ノイズ除去済みの3次元ブロックを画像に再統合し、最終的なクリア画像を再構築する。

実験結果

リサーチクエスチョン

• RQ1 非局所的自己同一性（NSS）とディープラーニングを組み合わせることで、規則的・不規則的両方の画像構造における画像ノイズ除去性能が向上するか？
• RQ2 パイロット信号として事前にノイズ除去された画像を用いることで、ノイズ環境下でのパッチ類似度検出の正確性は向上するか？
• RQ3 提案されたBMCNNフレームワークにおいて、ノイズ除去性能と計算効率のバランスを取る最適なパッチサイズとストライドは何か？
• RQ4 BMCNNの性能は、ネットワークアーキテクチャの選択よりも、ブロックマッチングの前処理手法の選択に依存するのか？

主な発見

• BMCNNは、すべてのテストデータセットで最先端の性能を達成し、Set12ベンチマークでは平均PSNRが30.98 dBに達し、CNNオンリーおよび従来のNSSベース手法を上回る。
• CNNオンリー手法が通常性能を発揮しない規則的・繰り返しのある構造（例：Barbara、House）においても、本手法は顕著な性能向上を示す。
• 前処理手法としてBM3Dを用いることで、特定の画像（例：Barbara、House）ではDnCNNを用いた場合よりわずかに良い結果が得られるが、全体の平均PSNRはほぼ同一（30.97 dB）に留まる。これは、前処理手法の選択に対して高いロバストネスを示している。
• パッチサイズ20×20が、情報量とマッチング精度のバランスを最適化し、10×10および40×40パッチを上回る性能を発揮する。
• ストライド10（20×20パッチサイズの半分）が、再構成品質と計算コストの最適なバランスを提供し、PSNRの低下は最小限に抑えられ、実行時間も顕著に短縮される。
• BMCNNフレームワークは計算効率が高く、256×256画像では1.603秒、512×512画像では5.777秒の実行時間であり、リアルタイム応用の可能性を秘めている。