[논문 리뷰] Cooperative Semantic Segmentation and Image Restoration in Adverse Environmental Conditions

Weihao Xia, Zhanglin Cheng외 2명|arXiv (Cornell University)|2019. 11. 02.

Advanced Image Processing Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 소음, 흐림, neblina 등의 악조건에서 동시에 의미적 세그멘테이션과 이미지 복원을 수행하는 협업형 딥러닝 프레임워크를 제안한다. 의미 정보 기반 적응과 예시 기반 합성 기법을 활용하여, 세그멘테이션 정확도와 이미지 복원 품질을 모두 향상시켜 RainCityscapes, FoggyCityscapes, ReflectCityscapes에서 SOTA 성능을 달성하며, 각각 PSNR 32.41, 32.64, 32.06을 기록한다.

ABSTRACT

Most state-of-the-art semantic segmentation approaches only achieve high accuracy in good conditions. In practically-common but less-discussed adverse environmental conditions, their performance can decrease enormously. Existing studies usually cast the handling of segmentation in adverse conditions as a separate post-processing step after signal restoration, making the segmentation performance largely depend on the quality of restoration. In this paper, we propose a novel deep-learning framework to tackle semantic segmentation and image restoration in adverse environmental conditions in a holistic manner. The proposed approach contains two components: Semantically-Guided Adaptation, which exploits semantic information from degraded images to refine the segmentation; and Exemplar-Guided Synthesis, which restores images from semantic label maps given degraded exemplars as the guidance. Our method cooperatively leverages the complementarity and interdependence of low-level restoration and high-level segmentation in adverse environmental conditions. Extensive experiments on various datasets demonstrate that our approach can not only improve the accuracy of semantic segmentation with degradation cues, but also boost the perceptual quality and structural similarity of image restoration with semantic guidance.

연구 동기 및 목표

• 소음, 흐림, neblina 등의 악조건에서 의미적 세그멘테이션 모델의 성능 저하 문제를 해결한다.
• 복원 성능이 최적화되지 않아 세그멘테이션 성능을 떨어뜨리는 전통적 후처리 복원 파이프라인의 한계를 극복한다.
• 저수준의 이미지 복원과 고수준의 의미적 세그멘테이션 간 상호의존성을 활용하여 두 작업을 동시에 향상시킨다.
• 의미 정보를 이용해 세그멘테이션을 정밀화하고, 세그멘테이션을 통해 이미지 복원을 이끄는 통합형 프레임워크를 개발한다.
• 비가, neblina, 반사 등 다양한 오염 유형이 존재하는 벤치마크 데이터셋에서 뛰어난 성능을 입증한다.

제안 방법

• 의미 기반 적응과 예시 기반 합성으로 구성된 이중 구성 요소 프레임워크를 제안하며, 상호 협업 방식으로 운영한다.
• 손상된 이미지 특징과 의미적 맥락을 활용해 세그멘테이션 예측을 정밀화하는 리파인먼트 네트워크를 구현한다.
• 손상된 예시를 기반으로 의미 레이블 맵에서 고품질 이미지를 재구성하는 복원 네트워크를 설계한다.
• 세그멘테이션 정확도와 이미지 복원 정밀도를 균형 잡는 다중 작업 학습 목표를 사용해 두 네트워크를 공동으로 훈련한다.
• 실제감과 일致성을 향상시키기 위해 교차 엔트로피 외에도 인지적 손실과 구조 유사도(SSIM) 손실을 사용한다.
• 손상된 이미지의 소음, 흐림, 압축 등의 단서를 활용하기 위해 리파인먼트 네트워크에 손상 인지 특징을 통합한다.

실험 결과

연구 질문

• RQ1 손상된 이미지의 의미 정보가 악조건에서 의미적 세그멘테이션의 강인성을 향상시킬 수 있는가?
• RQ2 의미적 세그멘테이션 결과가 소음, 흐림 또는 반사 존재 시 이미지 복원 품질을 향상시킬 수 있는가?
• RQ3 순차적 복원-먼저, 세그멘테이션-다음 파이프라인에 비해 협업 학습 프레임워크가 두 작업 모두에서 더 뛰어난 성능을 낼 수 있는가?
• RQ4 저수준 복원과 고수준 세그멘테이션 간 상호의존성이 실제 손상된 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ5 예시 기반 합성 기법을 통해 단지 의미 맵과 손상된 입력만으로도 시각적으로 우수하고 구조적으로 정확한 복원을 생성할 수 있는가?

주요 결과

• RainCityscapes에서 제안된 방법은 PSNR 32.41, SSIM 0.9579를 기록하여 DAF-Net(PSNR 30.06, SSIM 0.9530)과 같은 최신 비강우 제거 방법을 능가한다.
• FoggyCityscapes에서는 PSNR 32.64, SSIM 0.9618를 달성하여 MSCNN(PSNR 29.36, SSIM 0.9317) 및 기타 선도적 제안 모델을 뛰어넘는다.
• ReflectCityscapes에서 반사 제거 작업에서는 PSNR 32.06, SSIM 0.9590을 기록하여 ERRNet(PSNR 30.80, SSIM 0.9369)을 초월한다.
• 정성적 결과 분석에서 제안된 방법은 경쟁 기법들과 달리 잡음, 안개, 반사 물체를 임의의 아티팩트 없이 효과적으로 제거한다.
• 입력 이미지가 심하게 손상된 경우에도 복원 단서를 활용해 세그멘테이션 정확도가 향상됨을 확인하였다.
• 절단 실험 결과, 고립된 훈련 대비 협업 설계가 세그멘테이션 및 복원 성능을 크게 향상시킴을 확인하였다.