[論文レビュー] From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data

Ye Liu, Lei Zhu+6 more|arXiv (Cornell University)|Aug 6, 2021

Image Enhancement Techniques参考文献 43被引用数 5

ひとこと要約

本稿では、合成ラベル付きデータとラベルなし現実世界の霞み画像を併用することで、単一画像の除霧性能を向上させる、分離的整合性のMean-Teacherネットワーク（DMT-Net）を提案する。分離的画像除霧ネットワーク（DID-Net）を導入し、それぞれのスケールで透過率マップ、晴れ渡り画像、大気光推定値を別々に予測する。その後、ラベルなし現実データに対して整合性正則化を適用することでドメインシフトを低減し、Haze4K、SOTS、HazeRDデータセットで最先端の性能を達成した。

ABSTRACT

Single image dehazing is a challenging task, for which the domain shift between synthetic training data and real-world testing images usually leads to degradation of existing methods. To address this issue, we propose a novel image dehazing framework collaborating with unlabeled real data. First, we develop a disentangled image dehazing network (DID-Net), which disentangles the feature representations into three component maps, i.e. the latent haze-free image, the transmission map, and the global atmospheric light estimate, respecting the physical model of a haze process. Our DID-Net predicts the three component maps by progressively integrating features across scales, and refines each map by passing an independent refinement network. Then a disentangled-consistency mean-teacher network (DMT-Net) is employed to collaborate unlabeled real data for boosting single image dehazing. Specifically, we encourage the coarse predictions and refinements of each disentangled component to be consistent between the student and teacher networks by using a consistency loss on unlabeled real data. We make comparison with 13 state-of-the-art dehazing methods on a new collected dataset (Haze4K) and two widely-used dehazing datasets (i.e., SOTS and HazeRD), as well as on real-world hazy images. Experimental results demonstrate that our method has obvious quantitative and qualitative improvements over the existing methods.

研究の動機と目的

• 単一画像除霧における合成学習データと現実世界の霞み画像との間のドメインシフトを解消すること。
• 畳み込みニューラルネットワーク（CNN）の特徴を物理的に意味のある成分に分離することで、除霧性能を向上させること：晴れ渡り画像、透過率マップ、大気光。
• Mean-Teacherフレームワークを用いて、ラベルなし現実世界の霞み画像を活用し、一般化性能を向上させること。
• 物理的整合性を保つ粗〜細かい段階の分離的特徴学習アーキテクチャを開発すること。

提案手法

• 各スケールで透過率抽出、潜在変数抽出、光抽出の3本のブランチに特徴を分離する分離的画像除霧ネットワーク（DID-Net）を提案する。
• 段階的なマルチスケール特徴統合を用いて、透過率マップ、晴れ渡り画像、大気光推定値を予測する。
• 各成分に対して独立したリファインメントネットワークを採用し、粗い予測を精緻化する。
• DID-NetをMean-Teacherフレームワークに統合し、ラベルなし現実データに対して一貫性損失を適用して、学生モデルと教師モデルの予測を一致させる。
• ラベル付き合成データに対しては分離的教師付き損失、ラベルなし現実データに対しては分離的一致性損失を適用し、モデルのロバスト性を向上させる。
• ハイパーパrameter α1–α6 を用いた重み付き損失の組み合わせにより、教師付き学習と一貫性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 分離的特徴学習は、合成データと現実世界のドメインをまたがる単一画像除霧モデルの一般化性能を向上させるか？
• RQ2 ラベルなし現実の霞み画像に対する一貫性正則化は、除霧におけるドメインシフトをどれほど低減できるか？
• RQ3 透過率マップ、大気光、晴れ渡り画像といった物理的に解釈可能な成分を同時に予測することは、エンドツーエンド予測よりも優れた除霧性能をもたらすか？
• RQ4 各コンポーネント（分離的特徴、リファインメント、ラベルなしデータ）が最終的な性能に果たす寄与度は何か？

主な発見

• DMT-NetはHaze4KデータセットでPSNR 28.53、SSIM 0.96を達成し、13のSOTA手法をすべて上回った。
• アブレーションスタディの結果、特徴の分離を追加することでベースライン比PSNRが0.16–0.30 dB向上し、リファインメントによりさらに性能向上が確認された。
• ラベルなし現実データを一貫性損失で活用することで、ラベル付きデータのみでリファインメントを施したベースラインと比較し、PSNRが0.46 dB向上した。
• 視覚的比較により、DMT-Netは建物や空の領域において、ベースラインと比較してテクスチャと色再現性をより良く保持していることが確認された。
• 教師ネットワークの性能（PSNR 28.34、SSIM 0.96）が学生モデルとほぼ同一であるため、Mean-Teacherトレーニングの安定性が裏付けられた。
• ハイパーパrameterアブレーションでは、α1=0.7、α2=0.1、α3=0.7に設定した場合が最適で、他の設定でも劣化は最小限に抑えられた。