[論文レビュー] Realistic Large-Scale Fine-Depth Dehazing Dataset from 3D Videos

Ruoteng Li, Xiaoyi Zhang+2 more|arXiv (Cornell University)|Apr 18, 2020

Image Enhancement Techniques参考文献 53被引用数 6

ひとこと要約

本稿では、3D映画の高精細なステレオ深度を用いて物理的に正確な霞みをレンダリングした大規模で現実的な除霧データセットであるLSFDを紹介する。このデータセットは、除霧モデルの汎化性能を著しく向上させ、RESIDE-OTSで微調整された最先端の手法がO-HazeベンチマークでPSNRに最大1.36 dBの向上を示し、実世界での性能が優れておりドメインギャップが小さくなっていることを示している。

ABSTRACT

Image dehazing is one of the important and popular topics in computer vision and machine learning. A reliable real-time dehazing method with reliable performance is highly desired for many applications such as autonomous driving, security surveillance, etc. While recent learning-based methods require datasets containing pairs of hazy images and clean ground truth, it is impossible to capture them in real scenes. Many existing works compromise this difficulty to generate hazy images by rendering the haze from depth on common RGBD datasets using the haze imaging model. However, there is still a gap between the synthetic datasets and real hazy images as large datasets with high-quality depth are mostly indoor and depth maps for outdoor are imprecise. In this paper, we complement the existing datasets with a new, large, and diverse dehazing dataset containing real outdoor scenes from High-Definition (HD) 3D movies. We select a large number of high-quality frames of real outdoor scenes and render haze on them using depth from stereo. Our dataset is clearly more realistic and more diversified with better visual quality than existing ones. More importantly, we demonstrate that using this dataset greatly improves the dehazing performance on real scenes. In addition to the dataset, we also evaluate a series state of the art methods on the proposed benchmarking datasets.

研究の動機と目的

• 高品質な深度マップを備えた現実的で大規模かつ多様な屋外除霧データセットの不足を解消すること。
• 実際の3D映像と正確なステレオ深度を活用することで、合成データセットと実際の霞み画像との間のドメインギャップを克服すること。
• より現実的な学習分布を用いることで、深層学習ベースの除霧モデルの汎化性能と実世界での性能を向上させること。
• 実際の屋外状況をよりよく反映するデータセットを用いた除霧モデルの評価ベンチマークを提供すること。

提案手法

• 1920×1080解像度、合計40時間のHD 3D映像から2,000枚の高品質で現実的な屋外フレームを選定。
• マルチビュー・ステレオ再構成を用いてステレオペアから高密度かつ正確な深度マップを生成し、物理的に妥当な形状を保証。
• Koschmiederの大気散乱モデル（I(x) = J(x)e^(-βd(x)) + A(1 - e^(-βd(x)))) を用いて、推定された深度と大気光を基に現実的な霞みをレンダリング。
• 大気光推定にMaxRGBを、深度生成を支援するために事前学習済みのオプティカルフローモデルを用い、一貫性と現実性を確保。
• 都市のスカイラインや複雑な深度構造を含む多様な屋外シーンを含む、高解像度のデータセットを構築。
• O-Hazeや他の実世界データセットでの性能比較を通じて、最先端の除霧モデルをLSFDで訓練・評価し、ベンチマークを確立。

実験結果

リサーチクエスチョン

• RQ1 実際の3D映像から得た大規模で現実的な除霧データセットは、実世界の屋外シーンにおける深層学習ベースの除霧モデルの汎化性能を向上させることができるか？
• RQ2 除霧データセットにおける深度マップの品質と現実性は、モデルの性能とドメインの汎化にどのように影響するか？
• RQ3 物理的に正確なステレオ深度を備えたデータセットで学習させることで、推定された深度を持つ合成データセットと比較して、実際の霞み画像での性能が向上するか？
• RQ4 RESIDE-OTS や O-Haze といった既存のベンチマークと比較して、提案されたLSFDデータセットはモデルの汎化性能と定量的指標においてどのように異なるか？

主な発見

• LSFDデータセットで学習したモデルは、O-HazeベンチマークでPSNR 16.65、SSIM 0.6380を達成し、RESIDE-OTSで学習したモデル（PSNR: 14.55、SSIM: 0.5357）を上回った。
• LSFDで学習した4K Dehazingモデルは、O-HazeでPSNR 17.01、SSIM 0.6836を達成したのに対し、RESIDE-OTSで学習したモデルはそれぞれ15.36と0.5792であった。これは顕著な性能向上を示している。
• 図7の可視的比較から、LSFDで学習したモデルは、よりシャープで自然な除霧出力が得られ、細部やテクスチャの保持が優れていることが確認された。
• LSFDで学習したモデルとRESIDE-OTSで学習したモデルとの性能差は、既存の屋外データセットにおける低品質な深度が引き起こすドメインシフトを強く示している。
• LSFDデータセットは、PSNR/SSIMの飽和度が低く、過学習が少ないことから、多様性が高く、より広い汎化性能を示している。
• ベンチマーク結果から、LSFDは実世界の屋外状況をよりよく反映しており、除霧研究における訓練および評価リソースとして優れた選択であることが示された。