[論文レビュー] Towards Unified Deep Image Deraining: A Survey and A New Benchmark

Xiang Chen, Jinshan Pan+2 more|arXiv (Cornell University)|Oct 5, 2023

Image Enhancement Techniques被引用数 7

ひとこと要約

本論文は、単一画像の雨除き処理のための統一された評価フレームワークを提示し、ドメインギャップを低減するための5,000組の高解像度で現実的ないわゆる雨筋を含む合成画像ペアを有するHQ-RAINベンチマークを導入する。本研究では、混合学習および独立学習の2つの標準化された評価トラックを確立し、derainingモデルの公平で再現可能な比較を可能にするとともに、継続的なベンチマーク評価とモデル評価を可能にするオンラインプラットフォームをリリースする。

ABSTRACT

Recent years have witnessed significant advances in image deraining due to the kinds of effective image priors and deep learning models. As each deraining approach has individual settings (e.g., training and test datasets, evaluation criteria), how to fairly evaluate existing approaches comprehensively is not a trivial task. Although existing surveys aim to review of image deraining approaches comprehensively, few of them focus on providing unify evaluation settings to examine the deraining capability and practicality evaluation. In this paper, we provide a comprehensive review of existing image deraining method and provide a unify evaluation setting to evaluate the performance of image deraining methods. We construct a new high-quality benchmark named HQ-RAIN to further conduct extensive evaluation, consisting of 5,000 paired high-resolution synthetic images with higher harmony and realism. We also discuss the existing challenges and highlight several future research opportunities worth exploring. To facilitate the reproduction and tracking of the latest deraining technologies for general users, we build an online platform to provide the off-the-shelf toolkit, involving the large-scale performance evaluation. This online platform and the proposed new benchmark are publicly available and will be regularly updated at http://www.deraining.tech/.

研究の動機と目的

• 画像の雨除き研究における標準化された評価プロトコルの欠如により、研究間で一貫性のない、比較不可能な結果が生じているという問題に対処すること。
• より高い解像度と調和のとれた品質を備えた、現実的で高品質なベンチマークを構築することで、合成画像と実際の雨の画像との間のドメインギャップを低減すること。
• 混合学習と独立学習の2つの並列評価トラックを確立し、derainingモデルの性能を公平かつ体系的に比較できるようにすること。
• 継続的な評価とモデルの追跡を可能にする、一般公開されたオンラインプラットフォームを提供することにより、再現可能性と進捗状況のモニタリングを支援すること。
• 特に劣化モデル化、モデル効率、および高レベルのビジョンタスクとの統合に関する分野における、未解決の課題と今後の研究方向性を特定すること。

提案手法

• 背景と自然に融合する現実的な雨筋を合成できるように、画像調和化に基づく新しい雨の画像生成手法を提案する。特に空域において顕著な効果を発揮する。
• 視覚的リアリズム、多様性、および整合性を重視し、5,000組のペaired高解像度画像（雨が降った画像と真値のクリア画像）を含むHQ-RAINベンチマークを構築する。
• 2つの標準化された評価トラックを設計する：(1) 混合学習—複数のデータセットで学習し、すべてのデータセットでテストする；(2) 独立学習—別々のデータセットで学習およびテストする。
• RGBおよびYチャンネルで一貫した指標（PSNR、SSIM）を用いた統一された評価プロトコルを実装し、再現性を確保するため、標準化されたツールキット（例：OpenCV）を採用する。
• ベンチマークのホスティング、オフザシェルモデルの評価、定期的なアップデートを可能にする、http://www.deraining.tech/ に位置するオンライン評価プラットフォームを開発する。
• 100篇以上の雨除き関連論文を網羅的に調査し、データセット使用パターンを分析し、学習／テストデータの関係に生じる不整合を特定する。

実験結果

リサーチクエスチョン

• RQ1 異なる学習およびテスト設定において、画像の雨除きモデルの公平で一貫した比較を可能にする統一された評価プロトコルをどのように確立できるか？
• RQ2 既存の合成ベンチマーク（例：Rain100L、Rain100H）の現実性、調和性、解像度に関する主な限界は何か。それらはどのように是正できるか？
• RQ3 合成画像と実際の雨の画像との間のドメインギャップがモデルの一般化性能に及ぼす影響はどの程度であり、より良いデータ合成によってどのように低減できるか？
• RQ4 異なる学習戦略（混合学習対独立学習）が、derainingモデルの報告された性能に与える影響は何か。どちらが実世界の展開をより的確に反映しているか？
• RQ5 画像の雨除き分野における今後の有望な研究方向性は何か。特に劣化モデル化、モデル効率、および高レベルのビジョンタスクとの統合について。

主な発見

• HQ-RAINベンチマークは、高解像度で現実的な雨筋と、背景との調和のとれた統合により、合成画像と実際の雨の画像との間のドメインギャップを顕著に低減している。
• 2つの標準化されたトラックを備えた統一された評価フレームワークにより、過去の研究で混合または不一致な学習／テストデータを用いた場合に生じていた不整合を解消し、公平で再現可能な性能比較が可能になった。
• 定量的分析の結果、統一されたプロトコルで学習したモデルは、より信頼性が高く、比較可能な性能指標を示しており、PSNRおよびSSIMの結果が異なる評価設定間で一貫していることが明らかになった。
• http://www.deraining.tech/ に設置されたオンライン評価プラットフォームにより、リアルタイムでのベンチマーク評価とモデルの追跡が可能となり、継続的な評価とコミュニティ全体の進捗状況の監視を支援している。
• 調査の結果、既存の雨除き手法の70％以上が、学習／テストデータの分割に一貫性がなく、報告された性能比較の有効性を損なっていることが判明した。
• 今後の研究は、非線形な雨の影響を含む複雑な劣化プロセスのモデル化、知識蒸留やニューラルアーキテクチャサーチによるモデル効率の向上、および高レベルのビジョンタスクとの統合に注力すべきである。