[論文レビュー] Operational vs Convolutional Neural Networks for Image Denoising

Junaid Malik, Serkan Kıranyaz+1 more|arXiv (Cornell University)|Sep 1, 2020

Image and Signal Denoising Methods参考文献 22被引用数 6

ひとこと要約

本論文は、受容 field 水準での標準的な畳み込み層に代わり、適応的で非線形な演算子を組み込むことで、画像のノイズ除去性能を向上させる異種型ニューラルネットワークアーキテクチャ「作動ニューラルネットワーク（ONNs）」を提案する。データ駆動型のシナプス可塑性モニタリング（SPM）戦略を、ハイブ型学習にインspiredして採用することで、同等のCNNと比較して顕著な性能向上を達成した。訓練ステップ数を約80%削減し、特に高ノイズ環境下や限られたデータ条件下でも、一般化性能に優れた結果を示した。

ABSTRACT

Convolutional Neural Networks (CNNs) have recently become a favored technique for image denoising due to its adaptive learning ability, especially with a deep configuration. However, their efficacy is inherently limited owing to their homogenous network formation with the unique use of linear convolution. In this study, we propose a heterogeneous network model which allows greater flexibility for embedding additional non-linearity at the core of the data transformation. To this end, we propose the idea of an operational neuron or Operational Neural Networks (ONN), which enables a flexible non-linear and heterogeneous configuration employing both inter and intra-layer neuronal diversity. Furthermore, we propose a robust operator search strategy inspired by the Hebbian theory, called the Synaptic Plasticity Monitoring (SPM) which can make data-driven choices for non-linearities in any architecture. An extensive set of comparative evaluations of ONNs and CNNs over two severe image denoising problems yield conclusive evidence that ONNs enriched by non-linear operators can achieve a superior denoising performance against CNNs with both equivalent and well-known deep configurations.

研究の動機と目的

• 画像ノイズ除去におけるCNNの均質的・線形的畳み込み層の限界、特に高ノイズ環境下での一般化性能の低さや性能の飽和現象を是正すること。
• 固定非線形活性化関数に依存するのを回避し、個々の受容 field 水準での柔軟で非線形な変換を導入すること。
• 特定のノイズタイプに最適化された非線形演算子を、アーキテクチャに依存しないデータ駆動型手法で自動選択する方法を開発し、手動によるハイパーパrameterチューニングを削減すること。
• 異種型で非線形なニューロン構成（ONNs）が、深く均質なCNNと比較して、はるかに少ないパラメータ数と訓練ステップ数で優れたノイズ除去性能を達成できることを実証すること。

提案手法

• 各ニューロンが受容 field に対して学習可能な非線形演算子（例：中央値、対数、平均）を適用する「作動ニューラルネットワーク（ONNs）」を導入。これにより、固定された線形畳み込みではなく、柔軟な非線形変換が可能になる。
• ハイブ型学習の原則に基づいたシナプス可塑性モニタリング（SPM）機構を設計し、特定のノイズタイプに最も効果的な非線形演算子を自動的に同定・選択する。
• SPMを、訓練中にシナプス重みの変化を動的にモニタリングすることで、演算子の有効性を評価する高速で頑健かつアーキテクチャに依存しない探索戦略として実装。
• 限られたデータと高ノイズという厳しい制約下で、ONNsと同等のCNNを同一条件下で訓練し、一般化性能と収束速度を公平に比較。
• スペックルノイズおよびインパulseノイズデータセットにおけるノイズ除去性能の評価に、主にPSNRを指標として用いる。
• 複数のノイズレベルと画像セットにおいて、ONNsを同等の浅いCNNおよび最先端の深層CNN（[27]より）と比較する。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データ下で、受容 field 水準に非線形演算子を組み込んだ異種型ニューラルネットワークアーキテクチャ（ONNs）が、標準的なCNNを上回る画像ノイズ除去性能を発揮できるか？
• RQ2 手動チューニングを不要にしたデータ駆動型でハイブ型にインspiredされた演算子探索戦略（SPM）が、ノイズ固有の非線形変換を効果的に同定できるか？
• RQ3 高ノイズ環境下において、同等のCNNや深層CNNと比較して、ONNsは訓練ステップ数をどれほど削減でき、一般化性能をどれほど向上できるか？
• RQ4 パラメータ1個あたりの性能という観点で測定した場合、ONNsの表現力はCNNと比べてどの程度にスケーリングするか？
• RQ5 最小限のデータで学習させた後でも、同じノイズモデルに属する未学習の画像に対して、ONNsはCNNよりも優れた一般化性能を示せるか？

主な発見

• ONNsは、スペックルノイズおよびインパルスノイズのタスクにおいて、同等のCNNと比較して平均2.52%〜13.33%のPSNR向上を達成。特にインパルスノイズでは最高13.33%の向上を記録。
• 深層CNN [27] と比較して、スペックルノイズにおいてM=1では4.35%、M=5では13.36%のPSNR向上を達成。ONNsは約9,000パラメータで、深層CNNの0.5百万以上を上回る性能を発揮。
• 同等のCNNと比較して、ONNsは同じPSNRに到達するまでに約80%の訓練ステップ数を削減し、収束速度が著しく速いことが示された。
• 深層CNNでは、より深く複雑になったことで性能がたった1.36倍にしか向上しなかったが、ONNsはそのような性能の飽和を示さず、層内および層間の非均質性のおかげでより良好にスケーリングした。
• SPMは問題固有の非線形演算子を効果的に同定した：インパルスノイズには中央値フィルタ、スペックルノイズには対数演算が適していた。これにより、データ駆動型かつ適応的であることが裏付けられた。
• ONNsは過学習に対して強く、あらゆる設定においてより高いテストPSNRを達成した。これは、最小限のデータからも豊富で一般化可能な表現を学習できる能力を裏付けている。