[論文レビュー] Image denoising with multi-layer perceptrons, part 2: training trade-offs and analysis of their mechanisms

Harold Christopher Burger, Christian J. Schuler+1 more|arXiv (Cornell University)|Nov 7, 2012

Image and Signal Denoising Methods参考文献 23被引用数 26

ひとこと要約

この論文は、画像ノイズ除去のための多層パーセプトロン（MLP）のトレーニングのトレードオフおよび内部メカニズムを調査し、適切なハイパーパrameterチューニングを施した深層MLPが最先端の性能を達成することを示している。ノイズ除去はtanhユニットの特徴検出と飽和によって行われており、これによりバイナリに近い表現が得られ、暗黙の正則化として機能する。活性化パターンの分析により、モデルの内部論理の解釈可能性が可能になる。

ABSTRACT

Image denoising can be described as the problem of mapping from a noisy image to a noise-free image. In another paper, we show that multi-layer perceptrons can achieve outstanding image denoising performance for various types of noise (additive white Gaussian noise, mixed Poisson-Gaussian noise, JPEG artifacts, salt-and-pepper noise and noise resembling stripes). In this work we discuss in detail which trade-offs have to be considered during the training procedure. We will show how to achieve good results and which pitfalls to avoid. By analysing the activation patterns of the hidden units we are able to make observations regarding the functioning principle of multi-layer perceptrons trained for image denoising.

研究の動機と目的

• 画像ノイズ除去のためのMLPにおける重要なトレーニングのトレードオフを特定・解決すること、特に大規模かつ時間のかかる実験において。
• 初期段階では進展を示すにもかかわらず、特定のハイパーパrameterの選択が深刻な性能低下を引き起こす理由を理解すること。
• 隠れユニットの活性化パターンを分析することで、トレーニング済みのMLPが画像ノイズ除去においてどのように機能しているかを解明すること。
• アーキテクチャの深さ、パッチサイズ、ファインチューニングの役割が、最適なノイズ除去性能を達成するために果たす影響を評価すること。
• 単層および多層MLPの機能的挙動を比較し、それらのメカニズムをノイズ除去オートエンコーダーやRBMと関連付けること。

提案手法

• ノイズあり・ノイズなしの画像パッチの大規模データセットを用いて、最大4層の隠れ層（各2047ユニット）を持つ深層MLPをトレーニングする。
• 適応的学習率を用いた確率的勾配降下法を用い、トレーニングとテストのPSNRをモニタリングすることで、性能の変化を追跡する。
• 個々の隠れユニットを最大限に活性化する入力パターンを可視化するために、活性化マキマイゼーションを適用する。
• ブロックマッチングMLPにおける隣接パッチ間の重み更新を分析することで、特徴検出器の整合性を評価する。
• パッチサイズ、ネットワークの深さ、隠れユニット数を変化させたモデルを比較し、最適な構成を特定する。
• 最終的なテスト性能を向上させるために、学習率を低くしたファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 どのトレーニングハイパーパrameterおよび構成が、MLPにおける安定した収束と最適なノイズ除去性能をもたらすか？
• RQ2 初期段階では性能向上を示すにもかかわらず、なぜ一部のトレーニング実行が深刻に劣化するのか？
• RQ3 隠れユニットの活性化パターンは、画像ノイズ除去に特化したトレーニング済MLPの内部機能をどのように明らかにするか？
• RQ4 より深いMLPが、単層モデルと同様の機能的原理に従う程度はどの程度か？
• RQ5 ノイズの種別と強度は、学習された特徴検出器および生成器にどのような影響を及えるか？

主な発見

• 長時間のトレーニングは過学習を引き起こすのではなく、特に高容量モデルでは収束に不可欠である。
• より大きなアーキテクチャは一貫してより優れた性能を示し、より多くのトレーニングデータは常に性能向上に寄与する。
• 最適な隠れ層の数が存在するが、それを超えると深刻な性能劣化が生じる。
• 低学習率でのファインチューニングは、特に深層ネットワークにおいて顕著な性能向上をもたらす。
• トレーニング済MLPの隠れユニットは特定の画像特徴を検出しており、その活性化パターンからノイズ除去が特徴検出とtanhの飽和に依存していることが明らかになった。
• tanhの飽和により、モデルの内部表現は実質的にバイナリ的になるため、ノイズ除去オートエンコーダーの正則化解釈を支持する。