[논문 리뷰] FIFO: Learning Fog-invariant Features for Foggy Scene Segmentation

SoHyun Lee, Taeyoung Son외 1명|arXiv (Cornell University)|2022. 04. 04.

Image Enhancement Techniques인용 수 10

한 줄 요약

FIFO는 신경 스타일 표현에서의 스트림을 모델링하고 가용 가능한 안개 통과 필터를 사용하여 신호 분류에서 안개에 강인한 특징을 학습하는 새로운 방법을 제안한다. 클리어, 합성, 실제 안개 이미지 간의 스타일 갭을 줄이기 위해 안개 통과 필터와 세그멘테이션 네트워크를 번갈아 최적화함으로써 FIFO는 실제 안개 이미지 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 맑은 날씨 이미지에서의 정확도도 향상시켜 이전 방법들이 맑은 환경에서 성능 저하를 보이는 것과는 대조된다.

ABSTRACT

Robust visual recognition under adverse weather conditions is of great importance in real-world applications. In this context, we propose a new method for learning semantic segmentation models robust against fog. Its key idea is to consider the fog condition of an image as its style and close the gap between images with different fog conditions in neural style spaces of a segmentation model. In particular, since the neural style of an image is in general affected by other factors as well as fog, we introduce a fog-pass filter module that learns to extract a fog-relevant factor from the style. Optimizing the fog-pass filter and the segmentation model alternately gradually closes the style gap between different fog conditions and allows to learn fog-invariant features in consequence. Our method substantially outperforms previous work on three real foggy image datasets. Moreover, it improves performance on both foggy and clear weather images, while existing methods often degrade performance on clear scenes.

연구 동기 및 목표

• 맑은 날씨 이미지에서 성능 저하 없이 다양한 안개 조건으로 일반화되는 강건한 세그멘테이션 모델을 개발하는 것.
• 실제 안개 이미지에 대한 레이블이 제한되어 있고 기존 모델이 안개가 있는 환경에서 성능 저하를 보이는 문제를 해결하는 것.
• 안개를 스타일로 모델링하고 신경 특징 공간에서의 스타일 불일치를 해소하여 안개에 강인한 특징을 학습하는 것.
• 학습 중에 복잡한 커리큘럼 학습이나 안개 밀도 제어가 필요 없도록 하는 것.
• 콘텐츠 및 기타 환경 요소와 분리된 안개 전용 스타일 요소를 고립시켜 일반화 능력을 향상시키는 것.

제안 방법

• FIFO는 안개 조건을 스타일로 간주하고, 특징 맵의 그람 행렬을 가용 가능한 안개 통과 필터 모듈의 입력으로 사용한다.
• 안개 통과 필터는 콘텐츠 및 기타 요소에서 분리되어 오직 안개 관련 스타일 정보만을 캡처하는 압축된 안개 요소 임베딩을 학습한다.
• 세그멘테이션 네트워크는 서로 다른 안개 도메인(클리어, 합성, 실제 안개)의 안개 요소 간의 거리를 최소화하면서 도메인 내 변동성을 유지하도록 훈련된다.
• 안개 통과 필터와 세그멘테이션 네트워크는 번갈아 최적화되어 외부 안개 밀도 제어 없이 엔드 투 엔드 학습이 가능하도록 한다.
• 안개 통과 필터는 훈련 중에만 사용되는 보조 모듈이며 추론 시에는 제거된다.
• 이 방법은 유사한 안개 요소를 가까이 모으고 다른 요소는 멀리 떼는 메트릭 학습 손실을 활용하여 도메인 간 간접 특징 학습을 촉진한다.

실험 결과

연구 질문

• RQ1 신경 특징 공간에서 안개를 스타일로 모델링함으로써 안개에 강인한 세그멘테이션 특징을 학습할 수 있는가?
• RQ2 신경 스타일 표현에서 콘텐츠 및 기타 환경 요소에서 안개 전용 스타일 요소를 어떻게 분리할 수 있는가?
• RQ3 안개 통과 필터와 세그멘테이션 네트워크를 번갈아 최적화하는 엔드 투 엔드 학습이 안개 밀도 제어를 통한 커리큘럼 학습보다 성능이 뛰어나게 되는가?
• RQ4 합성 및 실제 안개 이미지로 훈련된 모델이 맑은 날씨 이미지에서 성능 저하 없이 실제 안개 이미지에 일반화되는가?
• RQ5 제안된 방법은 도메인 적대적 학습 및 기타 스타일 기반 적응 기법과 비교해 안개에 강인한 특징 학습을 어떻게 다루는가?

주요 결과

• FIFO는 세 가지 실제 안개 이미지 세그멘테이션 벤치마크에서 최신 기술 수준의 성능을 달성했다: FZ test v2에서 48.4 mIoU, FDD에서 48.9, FD에서 50.7을 기록했다.
• FIFO는 이전 SOTA 모델인 CMAda3+를 FZ test v2에서 1.6 mIoU, FDD에서 5.9, FD에서 0.9 mIoU 향상시켜 능가했다.
• 이전 방법들이 맑은 날씨 이미지에서 성능 저하를 보이는 것과는 달리, 이 방법은 맑은 날씨 이미지에서의 세그멘테이션 정확도를 향상시켰다.
• 정성적 결과에서는 기존 모델이 실패하는 고밀도 안개 영역에서도 FIFO가 더 고품질의 세그멘테이션을 생성하는 것으로 나타났다.
• 이미지 복원 결과는 FIFO가 안개가 있는 이미지뿐 아니라 맑은 이미지의 선명함까지 향상시켜 효과적인 안개에 강인한 특징 학습이 이루어졌음을 시사한다.
• 제거 실험 결과는 안개 통과 필터 없이 그람 행렬 갭을 직접 최소화할 경우 성능이 열악해지는 것을 확인하여 필터 모듈의 필요성을 입증했다.