[논문 리뷰] Thermal Object Detection using Domain Adaptation through Style Consistency.

Farzeen Munir, Shoaib Azam외 3명|arXiv (Cornell University)|2020. 06. 01.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 12

한 줄 요약

이 논문은 GAN 기반 프레임워크에서 스타일 일관성을 사용하여 가시 스펙트럼에서 적외선 영역으로 저수준 특징을 전달함으로써 열대상 검출을 위한 도메인 적응 방법을 제안한다. 스타일 통계를 정렬하고 교차 도메인 모델을 미세조정함으로써, 이 방법은 FLIR ADAS 및 KAIST 다중스펙트럼 데이터셋에서 평균 평균 정밀도(mAP)를 약 10% 향상시킨다.

ABSTRACT

A recent fatal accident of an autonomous vehicle opens a debate about the use of infrared technology in the sensor suite for autonomous driving to increase visibility for robust object detection. Thermal imaging has an advantage over lidar, radar, and camera because it can detect the heat difference emitted by objects in the infrared spectrum. In contrast, lidar and camera capture in the visible spectrum, and adverse weather conditions can impact their accuracy. The limitations of object detection in images from conventional imaging sensors can be catered to by thermal images. This paper presents a domain adaptation method for object detection in thermal images. We explore multiple ideas of domain adaption. First, a generative adversarial network is used to transfer the low-level features from the visible spectrum to the infrared spectrum domain through style consistency. Second, a cross-domain model with style consistency is used for object detection in the infrared spectrum by transferring the trained visible spectrum model. The proposed strategies are evaluated on publicly available thermal image datasets (FLIR ADAS and KAIST Multi-Spectral). We find that adapting the low-level features from the source domain to the target domain through domain adaptation increases in mean average precision by approximately 10%.

연구 동기 및 목표

• 가시 스펙트럼과 적외선 스펙트럼 간의 도메인 이동으로 인한 열대상 검출 성능 저하 문제를 해결한다.
• 우수한 기상 조건에서의 센서(예: 카메라, 레이저 라이더)의 한계를 극복하기 위해 환경 조건에 강건한 열영상의 특성을 활용한다.
• 도메인 적응을 통해 사전 훈련된 가시 스펙트럼 모델을 적응시켜 적외선 영상에서의 객체 검출 정확도를 향상시킨다.
• 스타일 일관성을 사용하여 가시 영역에서 적외선 영역으로 저수준 특징을 효과적으로 전달함으로써 도메인 간 격차를 줄인다.

제안 방법

• 스타일 일관성을 강제함으로써 가시 스펙트럼에서 적외선 스펙트럼으로 저수준 특징을 전달하기 위해 생성적 적대 기반 네트워크(GAN)를 사용한다.
• 소스(가시) 도메인과 타겟(적외선) 도메인 간 특징의 활성화 통계를 일치시키기 위해 스타일 일관성 손실을 사용한다.
• 사전 훈련된 가시 스펙트럼 모델에서 유도된 적응된 특징을 활용하는 교차 도메인 객체 검출 모델을 훈련한다.
• 특징 추출기는 유지하면서, 적외선 도메인에서 검출 헤드를 미세조정한다.
• 생성된 적외선 스타일 특징이 실제 적외선 특징과 구별되지 않도록 하기 위해 판별자를 활용한다.
• 기준으로 사용하기 위해 FLIR ADAS 및 KAIST 다중스펙트럼 데이터셋을 활용하여 열영상에서 객체를 검출하기 위해 적응된 모델을 적용한다.

실험 결과

연구 질문

• RQ1 스타일 일관성을 통한 도메인 적응이 가시 영상 도메인과 적외선 영상 도메인 간의 도메인 격차를 효과적으로 줄일 수 있는가?
• RQ2 스타일 일관성을 통해 저수준 특징을 전달함으로써 열영상에서의 객체 검출 성능은 어느 정도 향상되는가?
• RQ3 기본 모델이 직접 열영상 데이터로 훈련된 경우와 비교해 볼 때, 제안된 방법은 평균 평균 정밀도(mAP) 측면에서 어떤가?
• RQ4 GAN 기반 스타일 전이 메커니즘이 자원이 제한된 열영상 검출 환경에서 특징 전달 품질과 검출 정확도를 향상시키는가?

주요 결과

• 제안된 도메인 적응 방법은 기준 모델 대비 FLIR ADAS 데이터셋에서 평균 평균 정밀도(mAP)를 약 10% 향상시킨다.
• KAIST 다중스펙트럼 데이터셋 결과는 상당한 mAP 향상을 확인하여, 다양한 열영상 조건에서도 방법의 강건성을 입증한다.
• 특징 전달에서의 스타일 일관성이 도메인 이동을 효과적으로 줄여주며, 가시 스펙트럼 모델이 적외선 도메인으로 일반화되는 데 기여한다.
• GAN 기반 적응 프레임워크는 저수준 특징을 성공적으로 전달하면서도 열영상에서 검출에 관련된 의미적 패턴을 유지한다.
• 적응된 특징을 활용함으로써 교차 도메인 검출 모델은 두 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 원천 모델이 다른 도메인(가시 스펙트럼)에서 사전 훈련되었더라도 이 방법은 강력한 전이 가능성(transferability)을 보여준다.