[논문 리뷰] Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention

Fuya Luo, Yunhan Li외 4명|arXiv (Cornell University)|2021. 04. 29.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 야간 주행 환경에서 열화상 이미지의 색상화를 위한 GAN 기반 방법인 PearlGAN을 제안한다. 상향식 가이드된 주의(attention)를 통해 의미적 모호성을 감소시키고, 구조적 기울기 정렬 손실을 통해 에지 일致성을 유지한다. 이 방법은 기존의 비지도 이미지 번역 모델보다 의미적 및 기하학적 일치도에서 뛰어난 성능을 보이며, 새로 개발한 에지 일치성 지표를 통해 FLIR 및 KAIST 데이터셋에 대한 정밀한 검증을 수행하였다.

ABSTRACT

Benefitting from insensitivity to light and high penetration of foggy environments, infrared cameras are widely used for sensing in nighttime traffic scenes. However, the low contrast and lack of chromaticity of thermal infrared (TIR) images hinder the human interpretation and portability of high-level computer vision algorithms. Colorization to translate a nighttime TIR image into a daytime color (NTIR2DC) image may be a promising way to facilitate nighttime scene perception. Despite recent impressive advances in image translation, semantic encoding entanglement and geometric distortion in the NTIR2DC task remain under-addressed. Hence, we propose a toP-down attEntion And gRadient aLignment based GAN, referred to as PearlGAN. A top-down guided attention module and an elaborate attentional loss are first designed to reduce the semantic encoding ambiguity during translation. Then, a structured gradient alignment loss is introduced to encourage edge consistency between the translated and input images. In addition, pixel-level annotation is carried out on a subset of FLIR and KAIST datasets to evaluate the semantic preservation performance of multiple translation methods. Furthermore, a new metric is devised to evaluate the geometric consistency in the translation process. Extensive experiments demonstrate the superiority of the proposed PearlGAN over other image translation methods for the NTIR2DC task. The source code and labeled segmentation masks will be available at \url{https://github.com/FuyaLuo/PearlGAN/}.

연구 동기 및 목표

• 야간 주행 환경에서 인간의 해석과 후속 시각 작업을 방해하는 열화상(TIR) 이미지의 색채 부족 및 낮은 대비 문제를 해결하기 위해.
• 상향식 주의 기반 메커니즘을 통해 계층적 맥락 정보를 활용해 TIR 이미지 번역에서의 의미적 인코딩 모호성을 감소시키기 위해.
• 입력 TIR 이미지와 생성된 색상 이미지 간의 기하학적 일致성을 향상시켜 물체 윤곽선과 에지에서의 왜곡을 최소화하기 위해.
• 기존 FID 점수의 한계를 보완하고, 비쌍승 이미지 간 번역에서 기하학적 일치성을 평가하기 위한 새로운 평가 지표를 제공하기 위해.
• FLIR 및 KAIST 데이터셋의 일부에 대해 픽셀 수준의 주석이 부여된 마스크를 공개하여 향후 연구를 지원하기 위해.

제안 방법

• 다중 스케일 평균 풀링을 사용해 공간적 맥락을 추출하고 고수준 특징에서 저수준 특징으로 주의를 유도하는 상향식 가이드된 주의(TDGA) 모듈을 도입한다.
• 입력 TIR 이미지의 실제 객체 위치와 주의 맵을 정렬시켜 의미적 모호성을 명시적으로 감소시키기 위해 주의 기반 손실을 활용한다.
• 입력 TIR 이미지와 생성된 색상 이미지의 Canny 에지 맵을 정렬시켜 에지 일치성을 장려하는 구조적 기울기 정렬 손실을 제안한다.
• 비지도 이미지 간 번역을 위한 백본으로 ToDayGAN 프레임워크를 적응하여 TDGA와 기울기 정렬을 통합함으로써 성능 향상을 도모한다.
• TDGA 모듈이 스케일을 거쳐 하늘(상단)에서 도로 및 물체(중간/하단) 영역으로 점차적으로 주의를 집중시키는 다단계 학습 전략을 사용한다.
• 의미 유지 평가를 위해 픽셀 수준의 의미적 레이블이 부여된 FLIR 및 KAIST 데이터셋의 새로 주석이 추가된 서브셋을 사용해 모델을 검증한다.

실험 결과

연구 질문

• RQ1 상향식 가이드된 주의는 열화상 이미지 색상화에서 의미적 인코딩 모호성을 효과적으로 감소시킬 수 있는가?
• RQ2 기울기 정렬은 야간 주행 환경의 비쌍승 이미지 간 번역에서 기하학적 일치성을 어느 정도 향상시키는가?
• RQ3 제안된 방법은 TIR에서 색상 이미지로의 변환에서 내용과 구조를 모두 유지하는 데 있어 최신 GAN 기반 방법보다 뛰어난가?
• RQ4 에지 일치성 기반의 새로운 평가 지표는 NTIR2DC 작업에서 FID 점수보다 번역 품질을 더 잘 반영할 수 있는가?
• RQ5 주의와 기울기 정렬의 조합은 기존 비지도 방법보다 더 현실적이고 의미적으로 충실한 색상화를 이끌어낼 수 있는가?

주요 결과

• PearlGAN은 FLIR 및 KAIST 데이터셋에서 CycleGAN, MUNIT, ToDayGAN 등 다른 GAN 기반 방법들과 비교해 의미 유지 및 에지 일치성에서 뛰어난 성능을 기록하였다.
• 제안된 주의 기반 손실은 입력 TIR 이미지의 객체 영역과 주의 맵의 일치도 향상으로써 국소적 의미 모호성을 효과적으로 감소시켰다.
• 구조적 기울기 정렬 손실은 에지 일치성을 크게 향상시켜 물체 윤곽선에서의 기하학적 왜곡을 줄였으며, 시각적 비교 및 에지 맵 분석을 통해 이를 확인할 수 있었다.
• FID 점수는 중간 수준(FLIR 기준 62.7, KAIST 기준 102.2)이지만, MUNIT 및 ToDayGAN보다 내용 및 기하학적 일치도에서 뛰어나 FID가 구조적 정확도를 포괄하지 못하는 한계를 보여주었다.
• 실패 사례 분석을 통해 희귀 객체 카테고리(예: 버스)의 번역에서 훈련 샘플 수 부족으로 인한 과제가 드러났으며, 이는 모든 방법에 공통된 문제였다.
• FLIR 및 KAIST 데이터셋에 대해 픽셀 수준의 주석이 부여된 마스크를 공개함으로써, 향후 TIR 이미지 의미 분할 및 색상화 분야의 연구에 유용한 기준을 제공하였다.