[論文レビュー] A Deep Tree-Structured Fusion Model for Single Image Deraining

Xueyang Fu, Qi Qi+4 more|arXiv (Cornell University)|Nov 21, 2018

Image Enhancement Techniques参考文献 31被引用数 4

ひとこと要約

本論文では、畳み込みブロック内およびブロック間で階層的に特徴を統合することで、冗長性を低減し表現学習を向上させる、深層木構造融合モデルを提案する。この手法は、わずか35,427パラメータで実現され、合成データおよび実世界データの両方で、ResNet や DenseNet よりも深いネットワークを凌駆える最先端の性能を達成する。

ABSTRACT

We propose a simple yet effective deep tree-structured fusion model based on feature aggregation for the deraining problem. We argue that by effectively aggregating features, a relatively simple network can still handle tough image deraining problems well. First, to capture the spatial structure of rain we use dilated convolutions as our basic network block. We then design a tree-structured fusion architecture which is deployed within each block (spatial information) and across all blocks (content information). Our method is based on the assumption that adjacent features contain redundant information. This redundancy obstructs generation of new representations and can be reduced by hierarchically fusing adjacent features. Thus, the proposed model is more compact and can effectively use spatial and content information. Experiments on synthetic and real-world datasets show that our network achieves better deraining results with fewer parameters.

研究の動機と目的

• 雨じめが画像品質を低下させ、下流のビジョンタスクに悪影響を及てるという単一画像の雨消去の課題に対処すること。
• 深層ネットワークにおける特徴の冗長性を低減し、新たな意味のある表現の生成を妨げる要因を解消すること。
• 既存の手法よりも少ないパラメータ数で、コンactなネットワークアーキテクチャを用いて雨消去性能を向上させること。
• 雨の画像から空間的情報とコンテンツ的情報を両方効果的に捉えるために、木構造の特徴融合の有効性を検証すること。
• 単純でうまく設計された特徴融合が、より深く複雑なアーキテクチャを上回ることを示すこと。

提案手法

• 雨じめの空間的構造を捉えるために、マルチスケールの拡張畳み込みを基本ブロックとして用いる。
• 各ブロック内（空間的統合）およびブロック間（コンテンツ統合）に適用される木構造の特徴融合機構を導入する。
• 雨の画像と雨消去出力の残差を予測することで、残差学習を適用する。
• エッジの保持と構造的類似性の両立を図るため、MSE と SSIM の組み合わせ損失関数を採用する。
• パラメータ数を最小限に抑えるために、8つの拡張畳み込みブロックと特徴抽出／再構成ヘッドを備えた軽量ネットワークを設計する。
• スケップ接続を用いた標準的なCNN演算により、効果的な学習と特徴伝搬を可能にする。

実験結果

リサーチクエスチョン

• RQ1 階層的特徴融合を備えた単純で軽量なネットワークが、より深く複雑なアーキテクチャを上回る性能を発揮できるか？
• RQ2 木構造の特徴融合は、雨消去における冗長性低減と表現学習の向上にどの程度効果的か？
• RQ3 MSE と SSIM の損失を組み合わせることで、雨消去画像の視覚的品質と構造的忠実度がどの程度向上するか？
• RQ4 36,000パラメータ未満のコンパクトなネットワークが、合成データおよび実世界の雨消去ベンチマークで最先端の性能を達成できるか？
• RQ5 提案された統合機構は、ResNet の標準的なスケップ接続やDenseNet の密接続と比べて、どの程度優れているか？

主な発見

• Rain100H データセットにおいて、本モデルはPSNR 27.46を達成し、類似したパラメータ数のResNet（浅層：25.71、深層：28.03）およびDenseNet（浅層：25.87、深層：28.24）を上回る性能を示した。
• Rain1400 データセットでは、PSNR 31.32 および SSIM 0.92 を達成し、大規模な実世界の雨の画像においても優れた性能を発揮した。
• 本モデルはたった35,427パラメータで、深層構成のResNet（186,483）やDenseNet（232,883）よりも顕著に少ないパラメータ数でありながら、より良い結果を達成した。
• 視覚的比較により、MSE + SSIM の損失関数が、単独で使用する場合よりもクリアでコントラストが高く、アーチファクトの少ない結果を生成することが確認された。
• 特徴マップの可視化結果から、木構造モデルが、より明確に区別可能で意味的に意味のある特徴を生成していることが確認され、深層のResNet やDenseNet の変種よりも優れていることが示された。
• 本モデルは、合成データ（Rain100H）および実世界データ（Rain1400、Rain1200）の両方で最先端の性能を達成し、そのロバスト性と一般化能力が検証された。