[論文レビュー] Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration

Xin Li, Xin Jin+6 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Image Processing Techniques参考文献 43被引用数 8

ひとこと要約

本稿では、複数の歪みが同時に存在する画像復元のための新規フレームワークFDR-Netを提案する。FDR-Netは、複数の歪み間の干渉を低減するため、分離された特徴表現を学習する。特徴分離モジュール（FDM）を、変更されたゲイン制御正則化に基づき、歪み固有の特徴を別々のチャネルに分離し、チャネルワイドの注目機構を備えた特徴集約モジュール（FAM）により、クリアな画像を適応的に再構築する。この手法により、実世界の歪みを伴うハイブリッド歪みベンチマークで最先端の性能を達成するとともに、単一歪みタスクにおいても高いロバスト性を示した。

ABSTRACT

Hybrid-distorted image restoration (HD-IR) is dedicated to restore real distorted image that is degraded by multiple distortions. Existing HD-IR approaches usually ignore the inherent interference among hybrid distortions which compromises the restoration performance. To decompose such interference, we introduce the concept of Disentangled Feature Learning to achieve the feature-level divide-and-conquer of hybrid distortions. Specifically, we propose the feature disentanglement module (FDM) to distribute feature representations of different distortions into different channels by revising gain-control-based normalization. We also propose a feature aggregation module (FAM) with channel-wise attention to adaptively filter out the distortion representations and aggregate useful content information from different channels for the construction of raw image. The effectiveness of the proposed scheme is verified by visualizing the correlation matrix of features and channel responses of different distortions. Extensive experimental results also prove superior performance of our approach compared with the latest HD-IR schemes.

研究の動機と目的

• 実世界の画像復元において、複数の同時に発生する画像歪みの間の干渉を解消すること。
• 特徴レベルで歪みを分離・統合する戦略を特徴レベルでの分離表現を学習することで実現すること。
• 新規の正則化ベースのモジュールを用いて、歪み固有の特徴を別々のチャネルに分離することで、復元性能を向上させること。
• チャネルワイドの注目機構を用いてコンテンツ関連特徴を適応的に集約することで、特徴の利用効率を向上させること。
• デブラーイングやデレインニングなどの単一歪みタスクにおける手法のロバスト性を検証すること。

提案手法

• 異なる歪みの特徴を別々のチャネルに分配するように、ゲイン制御に基づく正則化を見直した特徴分離モジュール（FDM）を提案する。
• チャネル間の相関を低減するための変更された正則化メカニズムを用い、個々の歪みのチャネルワイド表現を可能にする。
• チャネルワイドの注目機構を備えた特徴集約モジュール（FAM）を導入し、歪み固有の特徴をフィルタリングし、クリアな画像コンテンツを再構築する。
• 残差ブロックと補助的監視を備えたマルチフェーズエンコーダ-デコーダアーキテクチャを採用し、訓練の安定化と特徴学習の向上を図る。
• FAMでゲイン制御正則化の逆変換を活用し、分離された表現から高品質な特徴を再構築する。
• DID-HY、Gopro、DID-MDNを含むハイブリッド歪みデータセット上で、PSNRとSSIMを評価指標として、エンドツーエンドでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 分離された特徴表現の学習は、実世界の画像における複数の同時に発生する歪み間の干渉を低減できるか？
• RQ2 変更された正則化メカニズムを用いて、異なる歪みの特徴表現を効果的に別々のチャネルに分離できるか？
• RQ3 チャネルワイドの注目機構による適応的特徴集約は、エンドツーエンド統合と比較して画像復元品質を向上させるか？
• RQ4 提案されたFDR-Netは、デブラーイングやデレインニングなどの単一歪みタスクにも汎用的に適用可能か？
• RQ5 FDM、FAM、マルチフェーズ設計といったアーキテクチャ的要素が、性能と特徴の分離度にどのように影響を与えるか？

主な発見

• FDR-NetはDID-HYデータセットで最先端の性能を達成し、PSNRが24.97、SSIMが0.680を記録し、従来手法を上回った。
• アブレーションスタディにより、FDMとFAMが極めて重要であることが確認され、両モジュールを除去するとPSNRが1.06 dB低下（24.97 → 23.91）した。
• 3つのFD層と32チャネルの設定が最適な性能を達成し、さらにチャネル数や層数を増加させても利得が著しく減少した。
• マルチフェーズ設計により性能が向上し、6フェーズで飽和が観察された（PSNR: 24.97、SSIM: 0.680）。
• Goproデータセットにおけるデブラーイングタスクでは、FDR-NetがPSNR 30.12を達成し、DeepDeblurとDeblurganを上回った。
• DID-MDNデータセットにおけるデレインニングタスクでは、FDR-NetがPSNR 32.96、SSIM 0.951を達成し、SPANETとRESCANを上回った。