[논문 리뷰] Both Style and Fog Matter: Cumulative Domain Adaptation for Semantic Foggy Scene Understanding

Xianzheng Ma, Zhixiang Wang외 5명|arXiv (Cornell University)|2021. 12. 01.

Image Enhancement Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 누적 도메인 적응 프레임워크인 CuDA-Net을 제안하며, 정적 어둠진 환경에서의 의미적 안개 낀 장면 이해에서 스타일과 안개 요인을 분리하여, 중간 도메인을 통해 청명한 도메인에서 안개 낀 도메인으로 단계적으로 적응할 수 있도록 한다. 이는 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 새로운 누적 손실을 사용하여 스타일, 안개, 이중 요인을 동시에 분리함으로써 비와 눈 내리는 장면으로의 일반화 성능도 확보한다.

ABSTRACT

Although considerable progress has been made in semantic scene understanding under clear weather, it is still a tough problem under adverse weather conditions, such as dense fog, due to the uncertainty caused by imperfect observations. Besides, difficulties in collecting and labeling foggy images hinder the progress of this field. Considering the success in semantic scene understanding under clear weather, we think it is reasonable to transfer knowledge learned from clear images to the foggy domain. As such, the problem becomes to bridge the domain gap between clear images and foggy images. Unlike previous methods that mainly focus on closing the domain gap caused by fog -- defogging the foggy images or fogging the clear images, we propose to alleviate the domain gap by considering fog influence and style variation simultaneously. The motivation is based on our finding that the style-related gap and the fog-related gap can be divided and closed respectively, by adding an intermediate domain. Thus, we propose a new pipeline to cumulatively adapt style, fog and the dual-factor (style and fog). Specifically, we devise a unified framework to disentangle the style factor and the fog factor separately, and then the dual-factor from images in different domains. Furthermore, we collaborate the disentanglement of three factors with a novel cumulative loss to thoroughly disentangle these three factors. Our method achieves the state-of-the-art performance on three benchmarks and shows generalization ability in rainy and snowy scenes.

연구 동기 및 목표

• 악천후 조건에서 시야를 떨어뜨리는 안개로 인해 레이블이 부여된 안개 낀 데이터가 부족한 상황에서 의미적 안개 낀 장면 이해(SFSU)의 과제를 해결하기 위해.
• 기존 도메인 적응 방법이 도메인 간 격리 문제를 통합된 문제로 간주하여 스타일 변화와 안개 왜곡의 독립적 기여도를 간과하는 한계를 극복하기 위해.
• 스스로 분리된 스타일과 안개 요인을 별도로 적응시키는 방법을 제안하며, 이중 요인 도메인 격리를 분해하기 위해 중간 도메인을 사용하여 도메인 간 격리를 분리한다.
• 스타일, 안개, 이중 요인 적응 간 누적 관계를 모델링하여 SFSU의 성능과 일반화 능력을 향상시키기 위해.

제안 방법

• 원천(청명), 중간(청명), 목표(안개 낀) 도메인의 이미지에서 스타일과 안개 요인을 분리하는 통합 프레임워크를 도입한다.
• 순차적 적응을 강제하기 위해 새로운 누적 손실 함수를 사용한다: 먼저 원천에서 중간 도메인으로 스타일을 적응시키고, 그 다음 중간 도메인에서 목표 도메인으로 안개를 적응시키며, 마지막으로 모든 도메인 간 이중 요인 적응을 수행한다.
• 혼합된 도메인 격리를 스타일 격리(원천–중간)와 안개 격리(중간–목표)로 분리하기 위해 중간 도메인(예: 취리히에서의 청명 이미지)을 사용한다.
• 분리 네트워크를 적용하여 콘텐츠, 스타일, 안개 요인을 분리함으로써 각 요인의 독립적 적응을 가능하게 한다.
• 최적화 안정성 향상과 분리 품질 향상을 위해 하이퍼파라미터 T를 사용한 사이클릭 훈련을 적용한다.
• 누적 손실에서 도메인 격리 측정에 가장 적합한 지표로 L2 거리를 사용하며, 이는 분석 실험을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 의미적 안개 낀 장면 이해에서 도메인 격리를 효과적으로 스타일과 안개 관련 구성요소로 분해할 수 있는가?
• RQ2 스스로 스타일에 먼저 적응하고, 그 다음 안개에 적응하며, 마지막으로 양자 모두에 적응하는 누적 적응 방식이 직접 도메인 적응보다 성능 향상에 기여하는가?
• RQ3 수동으로 선택한 중간 도메인(청명 이미지)이 중간 도메인을 생성하기 위해 CNN 기반 선택 방식보다 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법이 비나 눈 내리는 장면과 같은 다른 악천후 조건으로 일반화 가능한가?
• RQ5 누적 손실이 스타일, 안개, 이중 요인을 효과적으로 분리하는 데 기여하는가? 그리고 하이퍼파라미터에 얼마나 민감한가?

주요 결과

• CuDA-Net은 안개 낀 취리히 테스트 세트에서 43.06 mIoU를 달성하여 이전 최신 기술 수준의 방법보다 뚜렷한 성능 향상을 보였다.
• 전체 파이프라인(F_s→m + F_m→t + F_s→t)은 직접 적응(F_s→t) 대비 2.28 mIoU 향상된 성능을 보여, 이중 요인 적응의 必要성 을 입증했다.
• T=2로 설정한 사이클릭 훈련은 성능을 2.72 mIoU 향상시켜, 최적화 안정성 향상에 효과적임을 보였다.
• 누적 손실에서 L2 거리 지표가 다른 거리 지표보다 가장 뛰어난 성능을 보였으며, 분석 실험에서 이를 확인했다.
• 수동으로 중간 도메인을 선택한 결과(Clear Zurich)가 CNN 기반 선택보다 뛰어난 성능을 보여, 인간 검증된 청명 이미지의 가치를 확인했다.
• 비와 눈 내리는 장면으로의 일반화 성능도 뛰어나 ACDC(비)에서 48.5 mIoU, ACDC(눈)에서 47.2 mIoU를 기록하여 직접 적응을 초월했다.