[論文レビュー] Convolutional Neural Network with Median Layers for Denoising Salt-and-Pepper Contaminations

Luming Liang, Sen Deng+4 more|arXiv (Cornell University)|Aug 18, 2019

Image and Signal Denoising Methods参考文献 10被引用数 7

ひとこと要約

本論文は、特徴マップ上の局所的近傍の中央値を計算する空間的演算であるメディアン層を組み込んだ、新しい深層畳み込みニューラルネットワークを提案する。この手法により、高レベルのソルトアンドペッパー雑音で汚染された画像のノイズ除去が可能となり、事前処理や損失関数の段階的変更なしに、従来手法を1–2 dB上回る最先端の性能を達成する。特に70–90%という極端な雑音レベルにおいて顕著な性能向上を示す。

ABSTRACT

We propose a deep fully convolutional neural network with a new type of layer, named median layer, to restore images contaminated by the salt-and-pepper (s&p) noise. A median layer simply performs median filtering on all feature channels. By adding this kind of layer into some widely used fully convolutional deep neural networks, we develop an end-to-end network that removes the extremely high-level s&p noise without performing any non-trivial preprocessing tasks, which is different from all the existing literature in s&p noise removal. Experiments show that inserting median layers into a simple fully-convolutional network with the L2 loss significantly boosts the signal-to-noise ratio. Quantitative comparisons testify that our network outperforms the state-of-the-art methods with a limited amount of training data. The source code has been released for public evaluation and use (https://github.com/llmpass/medianDenoise).

研究の動機と目的

• 従来の勾配ベースの手法が、雑音のある画素で勾配が信頼性を失うため、極めて高いレベルのソルトアンドペッパー雑音を含む画像のノイズ除去という課題に取り組むこと。
• 訓練にクリーンなデータペアや複雑な損失関数の段階的変更（例：L2からL0への移行）を必要とする既存の学習ベース手法の限界を克服すること。
• 具体的には、メディアンフィルタリングという従来の非線形信号処理技術を、学習可能なレイヤーとして深層ニューラルネットワークに統合し、インパulse雑音に対してより頑健な性能を向上させること。
• 事前処理を必要とせず、エンドツーエンドで学習可能なネットワークを構築し、高レベルのソルトアンドペッパー雑音を除去すること。
• メディアン層がL1ベースの偏差を最小化することで、ノイズ領域における特徴品質を向上させる有効な正則化子として機能することを示すこと。

提案手法

• 特徴マップの全チャネルに対して、局所的な空間的近傍の中央値を計算する新しいレイヤー型「メディアンレイヤー」を導入する。
• メディアンレイヤーは、各空間的位置と全チャネルに対して固定サイズのカーネル（例：3×3）内で中央値を計算し、インパルス雑音を効果的に抑制するとともにエッジを保持する。
• メディアンレイヤーは、スキップ接続や残差ブロック内の標準的な畳み込みレイヤーに置き換えたり、補完的に挿入したりする形で、完全畳み込みニューラルネットワークアーキテクチャに統合する。
• 標準的なL2損失関数を用いてエンドツーエンドで学習するが、損失関数の段階的変更やクリーンな参照画像を必要とせず、ノイズありノイズありペアでの学習が可能になる。
• 数学的性質として、中央値は絶対偏差の和（L1ノルム）を最小化するため、ノイズのある特徴に対して頑健な正則化子として機能することが利用される。
• 既存の深層ネットワーク（例：U-Netスタイル）と互換性を持たせる設計となっており、メディアンレイヤーを簡単に統合することで性能向上が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク内に、学習可能なレイヤーとして効果的にメディアンフィルタリング操作を埋め込むことは可能か？ これにより、ソルトアンドペッパー雑音に対してより頑健な性能が向上するか？
• RQ2 標準的なCNNアーキテクチャにメディアンレイヤーを挿入することで、複雑な損失スケジューリングやクリーンな教師データを必要とせずに、ノイズ除去性能が向上するか？
• RQ3 提案手法は、特に70–90%などの高雑音レベルにおいて、最先端の手法と比較してどのように性能を発揮するか？
• RQ4 L2損失で学習した単一のモデルが、損失関数の適応を必要とせず、複数の雑音レベルに一般化できるか？
• RQ5 ネットワーク内におけるメディアンレイヤーの配置や深さは、特徴品質および最終的なノイズ除去精度にどのような影響を及ぼすか？

主な発見

• 90%のソルトアンドペッパー雑音がかかるLenna画像において、提案ネットワークは33.07 dBのPSNRを達成し、Noise2Noise（24.89 dB）や他のベースラインを著しく上回る。
• 70%の雑音レベルにおいて、メディアンレイヤーを含まない同じネットワークと比較して、平均で0.5 dBのPSNR向上を示し、一貫した性能向上を確認した。
• 複数のデータセットにおいて、平均PSNRで最先端のNoise2Noise手法を1–2 dB上回り、特に高雑音レベルで顕著な優位性を示した。
• 定性的な結果では、Noise2Noiseで一般的に見られるブロックノイズやエッジのぼやけを、特にシャープな遷移やバイナリパターンを含む画像において、本手法が効果的に低減していることが確認された。
• 標準的なL2損失で学習したモデルが、損失関数の適応なしに複数の雑音レベルに一般化できることから、メディアンレイヤーが効果的な正則化子として機能していることが示された。
• ソースコードおよび事前学習済みモデルは https://github.com/llmpass/medianDenoise で公開されており、再現性とさらなる研究を可能としている。