[논문 리뷰] Segmenting Objects in Day and Night:Edge-Conditioned CNN for Thermal Image Semantic Segmentation

Chenglong Li, Wei Xia외 3명|arXiv (Cornell University)|2019. 07. 24.

Advanced Neural Network Applications참고 문헌 45인용 수 9

한 줄 요약

이 논문은 엣지 사전 지식을 게이트형 특징별 변환(GFT) 레이어를 통해 적응적으로 통합함으로써 열화상 영상의 의미적 세그멘테이션 성능을 향상시키는 새로운 딥러닝 아키텍처인 엣지 조건부 컨볼루션 네트워크(EC-CNN)를 제안한다. 엔드 투 엔드로 훈련된 EC-CNN는 새로 제안된 SODA 벤치마크에서 최신 기술 수준의 성능을 달성하며, mIoU와 픽셀 정확도를 크게 향상시키면서도 효율적인 추론 속도를 유지한다.

ABSTRACT

Despite much research progress in image semantic segmentation, it remains challenging under adverse environmental conditions caused by imaging limitations of visible spectrum. While thermal infrared cameras have several advantages over cameras for the visible spectrum, such as operating in total darkness, insensitive to illumination variations, robust to shadow effects and strong ability to penetrate haze and smog. These advantages of thermal infrared cameras make the segmentation of semantic objects in day and night. In this paper, we propose a novel network architecture, called edge-conditioned convolutional neural network (EC-CNN), for thermal image semantic segmentation. Particularly, we elaborately design a gated feature-wise transform layer in EC-CNN to adaptively incorporate edge prior knowledge. The whole EC-CNN is end-to-end trained, and can generate high-quality segmentation results with the edge guidance. Meanwhile, we also introduce a new benchmark dataset named "Segment Objects in Day And night"(SODA) for comprehensive evaluations in thermal image semantic segmentation. SODA contains over 7,168 manually annotated and synthetically generated thermal images with 20 semantic region labels and from a broad range of viewpoints and scene complexities. Extensive experiments on SODA demonstrate the effectiveness of the proposed EC-CNN against the state-of-the-art methods.

연구 동기 및 목표

• 열화상 적외선 영상에서 해상도가 낮고 대trast가 떨어지며 열교차와 센서 노이즈로 인해 경계가 모호한 점을 해결하기 위해 의미적 세그멘테이션 문제를 다루는 것.
• 이전에 공개된 벤치마크가 없었기 때문에 열화상 영상 의미적 세그멘테이션을 위한 견고한 딥러닝 베이스라인 개발.
• 어려운 열화상 영상 조건에서 정확도를 향상시키기 위해 엣지 사전 지식을 효과적으로 통합하는 새로운 네트워크 아키텍처 제안.
• 신뢰할 수 있는 평가 및 향후 연구를 위해 7,168장의 애너테이션된 열화상 영상과 20개의 의미적 레이블을 포함한 종합적이고 대규모의 벤치마크 데이터셋(SODA) 구축.

제안 방법

• 딥랩v3 기반으로 구축된 새로운 EC-CNN 아키텍처를 제안하며, 엣지 확률 맵에 조건화된 게이트형 특징별 변환(GFT) 레이어를 통해 엣지 사전 지식을 통합하여 의미적 세그멘테이션을 안내한다.
• GFT 레이어는 엣지 확률 맵에 따라 특징맵에 대해 적응적이고 학습 가능한 애프라인 변환을 수행하도록 설계되어 동적 특징 조절을 가능하게 한다.
• GFT 레이어 내부의 게이트 메커니즘을 통해 노이즈가 많은 엣지 예측을 억제하고, 신뢰할 수 없는 엣지 정보에 대한 강건성을 향상시킨다.
• 하이브리드 데이터 생성 전략을 활용: 실존하는 2,168장의 열화상 영상에 대해 수동으로 애너테이션을 수행하고, 이미지 간 전환 기법을 사용해 추가로 5,000장의 영상을 합성하여 데이터셋 규모를 확장한다.
• SODA 데이터셋에서 픽셀 수준의 애너테이션을 사용하여 지도 학습 기반으로 전체 EC-CNN 모델을 엔드 투 엔드로 훈련한다.
• 표준 평가 지표(mIoU, 픽셀 정확도, 추론 속도)와 추론 분석 실험을 통해 아키텍처 설계 선택의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 어떻게 엣지 사전 지식을 열화상 영상 의미적 세그멘테이션을 위한 딥 네트워크에 효과적이고 적응적으로 통합할 수 있는가?
• RQ2 어떤 위치에 엣지 가이드드 모듈을 배치할 경우 열화상 영상 세그멘테이션 네트워크 아키텍처에서 최적의 성능을 낼 수 있는가?
• RQ3 특징 변환 레이어에 게이트 메커니즘이 포함될 경우 열화상 데이터에서 노이즈가 많은 엣지 예측에 대한 강건성은 어떻게 영향을 받는가?
• RQ4 제안된 EC-CNN가 기존 최신 기술 수준의 방법들보다 열화상 영상 의미적 세그멘테이션에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 대규모이고 정확하게 애너테이션된 벤치마크는 열화상 영상 의미적 세그멘테이션 분야의 연구 발전에 어떤 역할을 하는가?

주요 결과

• EC-CNN 모델은 SODA 벤치마크에서 평균 교차율(mIoU) 61.3%를 기록하여 베이스라인인 딥랩v3 대비 0.5% 향상된 성능을 달성했다.
• 제안된 GFT 레이어를 적용함으로써 픽셀 정확도가 베이스라인의 82.3%에서 83.6%로 상승하여, 게이트 메커니즘이 노이즈가 많은 엣지 정보를 걸러내는 데 효과적임을 입증했다.
• GFT 레이어를 가장 얕은 잔차 블록(conv2_x)에 삽입할 경우 최고의 성능을 기록하여, 열화상 영상에서 저수준 엣지 사전 지식이 세그멘테이션에 가장 유익함을 시사한다.
• EC-CNN는 기준 추론 속도에 근접한 성능을 유지하며, GTX TITAN XP GPU에서 평균 0.13~0.17초의 시간이 소요되어 최소한의 계산 오버헤드를 보였다.
• 추론 분석 실험 결과, 게이트 메커니즘이 활성화된 경우 픽셀 정확도가 1.3% 향상되어 노이즈가 많은 엣지에 대한 강건성이 크게 향상됨을 확인했다.
• 7,168장의 애너테이션된 영상과 20개의 의미적 레이블을 포함한 SODA 데이터셋은 열화상 세그멘테이션 방법 평가를 위한 종합적이고 다양한 기준이 되는 벤치마크를 제공한다.