[論文レビュー] Cooperative Semantic Segmentation and Image Restoration in Adverse Environmental Conditions

Weihao Xia, Zhanglin Cheng+2 more|arXiv (Cornell University)|Nov 2, 2019

Advanced Image Processing Techniques参考文献 46被引用数 5

ひとこと要約

本論文は、ノイズ、ぼかし、霧などの悪質な環境条件下でも、同時に意味的セグメンテーションと画像修復を実行する協調的ディープラーニングフレームワークを提案する。意味的ガイド付き適応と例示ガイド付き合成を活用することで、セグメンテーションの正確性と画像修復の品質の両方を向上させ、RainCityscapes、FoggyCityscapes、ReflectCityscapesで最先端の結果を達成し、それぞれPSNRが32.41、32.64、32.06に達した。

ABSTRACT

Most state-of-the-art semantic segmentation approaches only achieve high accuracy in good conditions. In practically-common but less-discussed adverse environmental conditions, their performance can decrease enormously. Existing studies usually cast the handling of segmentation in adverse conditions as a separate post-processing step after signal restoration, making the segmentation performance largely depend on the quality of restoration. In this paper, we propose a novel deep-learning framework to tackle semantic segmentation and image restoration in adverse environmental conditions in a holistic manner. The proposed approach contains two components: Semantically-Guided Adaptation, which exploits semantic information from degraded images to refine the segmentation; and Exemplar-Guided Synthesis, which restores images from semantic label maps given degraded exemplars as the guidance. Our method cooperatively leverages the complementarity and interdependence of low-level restoration and high-level segmentation in adverse environmental conditions. Extensive experiments on various datasets demonstrate that our approach can not only improve the accuracy of semantic segmentation with degradation cues, but also boost the perceptual quality and structural similarity of image restoration with semantic guidance.

研究の動機と目的

• ノイズ、ぼかし、霧などの悪質な環境条件下で意味的セグメンテーションモデルの性能低下を解消すること。
• 修復の最適でないためセグメンテーション性能が低下する従来のポストプロセッシング修復パイプラインの限界を克服すること。
• 低レベルの画像修復と高レベルの意味的セグメンテーションの相互依存関係を活用し、両方のタスクを同時に改善すること。
• 意味的ヒントを用いてセグメンテーションを精緻化し、セグメンテーションを用いて画像修復をガイドする包括的なフレームワークを開発すること。
• 雨、霧、反射などのさまざまな劣化タイプを含むベンチマークデータセットにおいて、優れた性能を示すこと。

提案手法

• 意味的ガイド付き適応と例示ガイド付き合成の二重構成フレームワークを提案し、協調的に動作させる。
• 劣化した画像特徴と意味的コンテキストを用いてセグメンテーション予測を精緻化するリファインメントネットワークを実装する。
• 劣化した例示物をガイドとして、意味的ラベルマップから高品質な画像を再構築するリカバリーネットワークを設計する。
• セグメンテーションの正確性と画像修復の忠実度の両方をバランスさせるマルチタスク学習目的関数を用いて、二つのネットワークを共同で訓練する。
• 現実性と一貫性を向上させるために、セグメンテーションのための交差エントロピーに加え、知覚的損失と構造的類似性（SSIM）損失を用いる。
• リファインメントネットワークに劣化に特化した特徴を統合し、ノイズ、ぼかし、圧縮からの手がかりを活用してセグメンテーションを向上させる。

実験結果

リサーチクエスチョン

• RQ1 劣化した画像からの意味的情報は、悪質な条件下での意味的セグメンテーションのロバスト性を向上させることができるか？
• RQ2 意味的セグメンテーションの結果は、ノイズ、ぼかし、または反射が存在する状況で画像修復の品質を向上させることができるか？
• RQ3 順次的修復→セグメンテーションまたはセグメンテーション→修復のパイプラインに比べ、協調的学習フレームワークは両タスクにおいて優れた性能を示すか？
• RQ4 低レベルの修復と高レベルのセグメンテーションの相関関係は、実世界の劣化データセットにおける性能にどのように影響を与えるか？
• RQ5 例示ガイド付き合成は、意味的マップと劣化入力のみを用いて、知覚的に優れたかつ構造的に正確な修復を生成できるか？

主な発見

• RainCityscapesではPSNRが32.41、SSIMが0.9579を達成し、DAF-Net（PSNR 30.06、SSIM 0.9530）を上回る最先端の雨除去手法を凌駕した。
• FoggyCityscapesではPSNRが32.64、SSIMが0.9618を達成し、MSCNN（PSNR 29.36、SSIM 0.9317）や他の先進的な除霧モデルを上回った。
• ReflectCityscapesにおける反射除去では、PSNRが32.06、SSIMが0.9590を達成し、ERRNet（PSNR 30.80、SSIM 0.9369）を上回った。
• 定性的な結果から、本手法はアーチファクトを生成せずに、雨じめん、霧、反射を効果的に除去しているのに対し、比較手法はその点で劣っている。
• 入力画像が重度に劣化している場合でさえ、劣化の手がかりを活用することで、セグメンテーションの正確性が向上している。
• アブレーションスタディの結果、独立して訓練するのと比べ、協調的設計がセグメンテーションと修復の両方の性能を顕著に向上させていることが確認された。