[論文レビュー] Compound Multi-branch Feature Fusion for Real Image Restoration

Chi-Mao Fan, Tsung-Jung Liu+1 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Image Fusion Techniques被引用数 9

ひとこと要約

本稿では、人間の視覚系における網膜の神経節細胞にインspiredされた複合マルチブランチ特徴統合ネットワーク、CMFNetを提案する。このネットワークは、一度の統合フレームワーク内で画像のぼかし除去、霞み除去、雨除去を同時に処理することを目的としている。別々のアテンションブランチ、学習可能なミックススカイプ接続（MSC）、およびPSNRとSSIMを組み合わせた新規のPS損失関数を採用することで、複数のデータセットで最先端のSSIM性能を達成し、劣化タイプの多様な状況においても優れた一般化性能を示す。視覚的に忠実な復元が実現されている。

ABSTRACT

Image restoration is a challenging and ill-posed problem which also has been a long-standing issue. However, most of learning based restoration methods are proposed to target one degradation type which means they are lack of generalization. In this paper, we proposed a multi-branch restoration model inspired from the Human Visual System (i.e., Retinal Ganglion Cells) which can achieve multiple restoration tasks in a general framework. The experiments show that the proposed multi-branch architecture, called CMFNet, has competitive performance results on four datasets, including image dehazing, deraindrop, and deblurring, which are very common applications for autonomous cars. The source code and pretrained models of three restoration tasks are available at https://github.com/FanChiMao/CMFNet.

研究の動機と目的

• 一つの劣化タイプに特化した既存の学習ベースの画像復元モデルには一般化能力に欠如しているという問題に対処すること。
• ぼかし除去、霞み除去、雨除去といった複数の一般的な画像劣化を同時に処理可能な統合フレームワークを構築すること。
• PSNRとSSIMの指標を組み合わせた新規損失関数を導入することで、復元画像の知覚的質を向上させること。
• 学習可能なミックススカイプ接続（MSC）により特徴統合と残差学習を強化し、標準的な残差パスよりも優れた性能を実現すること。

提案手法

• CMFNetは、網膜の神経節細胞の並列経路にインspiredされたマルチブランチアーキテクチャを採用し、各ブランチに異なるアテンション機構（チャネル、空間、ピクセルアテンション）を適用する。
• 各ブランチは、事前学習済みのアテンションブロックを用いて独立して特徴を処理し、RGCの機能的特化を模倣することで、異なる劣化タイプに特化した選択的特徴学習を可能にする。
• 出力画像に対する直接的な教師信号なしに、新規の教師ありアテンションモジュール（SAM）を統合することで、ネットワークの学習柔軟性を維持する。
• 標準的な残差接続に代えて、学習可能なミックススカイプ接続（MSC）を採用し、学習可能な定数パラメータを用いて複数ブランチの特徴を動的に統合する。
• PSNRとSSIMを組み合わせた新しい損失関数、PS損失を導入することで、人間の知覚に適合し、構造的忠実性を向上させる。
• 全ネットワークを提案されたPS損失を用いてエンド・ツー・エンドに訓練し、部成分の有効性を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 統合された深層学習フレームワークは、ぼかし除去、霞み除去、雨除去といった複数の画像復元タスクを同時に効果的に処理できるか？
• RQ2 網膜の神経節細胞にインspiredされたマルチブランチアーキテクチャは、単一パスモデルと比較して、復元性能および一般化性能において優れているか？
• RQ3 学習可能なミックススカイプ接続（MSC）は、標準的な残差接続と比較して、特徴統合と復元品質を向上させているか？
• RQ4 PSNRとSSIMを組み合わせたPS損失は、標準的なL1（MAE）損失と比較して、どの程度知覚的画像品質を向上させているか？
• RQ5 別々のブランチに統合されたアテンションブロック（チャネル、空間、ピクセル）は、異なる劣化タイプのタスクにおいて性能にどのように影響を与えるか？

主な発見

• CMFNetは、合成および実世界のベンチマークを含む4つのデータセットにおいて、ぼかし除去、霞み除去、雨除去タスクで競争力のある性能を達成した。
• GoProぼかし除去データセットでは、PSNRが30.54 dB、SSIMが0.913を達成し、中程度の順位に位置づけられるが、強力なロバストネスを示した。
• アブレーションスタディの結果、MSCとPS損失を備えた完全なCMFNetは、GoProデータセットでPSNR 29.16 dB、SSIM 0.887を達成し、すべてのアブレーションバリアントを上回った。
• PS損失は追加のパラメータなしにL1損失と比較して+0.008のSSIM向上を示し、知覚的品質の向上が裏付けられた。
• 3つのアテンションブロック（CA、SA、PA）を備えたマルチブランチ設計は、PSNR 28.88 dBを達成し、マルチパス特徴学習が性能向上に寄与していることを示した。
• 学習可能なパラメータを有する提案されたMSCは、標準的な残差接続よりも効果的な特徴集約を実現しており、アブレーション実験で最高のPSNRとSSIMを記録した。