[論文レビュー] Image Denoising Using Very Deep Fully Convolutional Encoder-Decoder Networks with Symmetric Skip Connections.

Xiao-Jiao Mao, Chunhua Shen+1 more|arXiv (Cornell University)|Mar 30, 2016

Image and Signal Denoising Methods参考文献 8被引用数 55

ひとこと要約

本論文は、ノイズあり画像から綺麗な画像へのエンドツーエンドのマッピングを学習する、対称的なスキップ接続を備えた非常に深い完全畳み込みエンコーダ・デコーダネットワークを提案する。このアーキテクチャは、対称的なスキップ接続により微細なディテールを保持することで、収束速度が速く、ノイズ除去の品質が向上し、定量的・定性的な指標において、先行研究を著しく上回る。

ABSTRACT

Image denoising is a long-standing problem in computer vision and image processing, as well as a test bed for low-level image modeling algorithms. In this paper, we propose a very deep encoding-decoding framework for image denoising. Instead of using image priors, the proposed framework learns end-to-end fully convolutional mappings from noisy images to the clean ones. The network is composed of multiple layers of convolution and de-convolution operators. With the observation that deeper networks improve denoising performance, we propose to use significantly deeper networks than those employed previously for low-level image processing tasks such as denoising. We propose to symmetrically link convolutional and de-convolutional layers with skip-layer connections, with which the training converges much faster and attains a higher-quality local optimum. From the image processing point of view, those symmetric connections help preserve image details.

研究の動機と目的

• コンピュータビジョン分野における長年の課題である画像ノイズ除去を、従来の画像プライアーよりもエンドツーエンドに学習されたマッピングに置き換えること。
• 従来の低レベル画像処理タスクで使用されたよりも深いネットワークアーキテクチャを活用することで、ノイズ除去性能を向上させること。
• エンコーダとデコーダ層の間に対称的なスキップ接続を導入することで、学習の効率と解法の質を向上させること。
• 画像プライアーよりもスキップ接続にインspiredされたアーキテクチャ設計により、ノイズ除去プロセス中に微細な画像ディテールを保持すること。

提案手法

• フレームワークは、エンドツーエンドの特徴量学習を可能にする、複数の畳み込み層およびデコンボリューション層から構成される完全畳み込みエンコーダ・デコーダアーキテクチャを採用する。
• 対応する畳み込み層とデコンボリューション層の間に、勾配の流れと特徴量の再利用を促進する対称的なスキップ接続を導入する。
• 手作業で作成された画像プライアーよりも依存しないように、ノイズあり入力画像から綺麗な出力画像への直接的なマッピングをエンドツーエンドで学習する。
• 深層アーキテクチャにより、ノイズと画像構造の階層的表現を効果的に学習できる。
• スキップ接続により、学習の安定化と収束速度の向上が図られるとともに、高周波成分の画像ディテールの保持が向上する。
• 空間的一致性の維持と再構成忠実度の向上を目的として、スキップ接続の対称性に重点を置いた設計がなされている。

実験結果

リサーチクエスチョン

• RQ1 対称的なスキップ接続を備えた非常に深い完全畳み込みネットワークは、既存の手法を上回る画像ノイズ除去性能を達成できるか？
• RQ2 エンドツーエンド学習フレームワークにおいて、ネットワークの深さを増すと、ノイズ除去性能にどのように影響するか？
• RQ3 対称的なスキップ接続は、画像ノイズ除去における学習収束と解法品質をどの程度向上させるか？
• RQ4 画像プライアーよりも依存しない状況で、スキップ接続は微細な画像ディテールを効果的に保持できるか？

主な発見

• 提案された対称的なスキップ接続を備えた深層エンコーダ・デコーダネットワークは、ベースラインアーキテクチャに比べて、より速い学習収束を達成する。
• 対称的なスキップ接続による改善された勾配の流れのおかげで、損失関数の局所最適解がより高品質な領域に位置づけられる。
• 対称的なスキップ接続は、画像ディテールの保持を著しく向上させ、視覚的に優れたノイズ除去出力が得られる。
• 定量的指標と視覚的品質の両面で、従来の手法を上回る性能を示し、特に微細なテクスチャーやエッジの回復において顕著な向上が見られる。