[논문 리뷰] Self-adversarial Multi-scale Contrastive Learning for Semantic Segmentation of Thermal Facial Images

Jitesh Joshi, Nadia Bianchi‐Berthouze외 1명|arXiv (Cornell University)|2022. 09. 21.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 자가적대적 다중스케일 대비 학습(SAM-CL) 프레임워크를 제안하여 열화상 얼굴 영상의 의미적 분할 성능을 향상시킨다. 새로운 SAM-CL 손실과 도메인 특화 열화상 영상 증강(TiAug) 모듈을 결합한 방법은 망각 및 환경 변화에 대한 강건성을 향상시키며, 제한된 열화상 데이터셋, 특히 실제 세계의 제약 없는 환경에서도 다양한 네트워크에서 일관된 성능 향상을 달성한다.

ABSTRACT

Segmentation of thermal facial images is a challenging task. This is because facial features often lack salience due to high-dynamic thermal range scenes and occlusion issues. Limited availability of datasets from unconstrained settings further limits the use of the state-of-the-art segmentation networks, loss functions and learning strategies which have been built and validated for RGB images. To address the challenge, we propose Self-Adversarial Multi-scale Contrastive Learning (SAM-CL) framework as a new training strategy for thermal image segmentation. SAM-CL framework consists of a SAM-CL loss function and a thermal image augmentation (TiAug) module as a domain-specific augmentation technique. We use the Thermal-Face-Database to demonstrate effectiveness of our approach. Experiments conducted on the existing segmentation networks (UNET, Attention-UNET, DeepLabV3 and HRNetv2) evidence the consistent performance gains from the SAM-CL framework. Furthermore, we present a qualitative analysis with UBComfort and DeepBreath datasets to discuss how our proposed methods perform in handling unconstrained situations.

연구 동기 및 목표

• 낮은 특징 금성도, 망각, 제한된 데이터셋 가용성으로 인해 어려움을 겪는 열화상 얼굴 영상에서 의미적 분할 문제를 해결한다.
• 열화상 영상의 물리적 특성과 다름으로 인해 RGB 기반 데이터 증강 및 손실 함수의 한계를 극복한다.
• 제한된 데이터로도 제약 없는 실제 세계의 열화상 영상 시나리오에서 일반화 능력과 강건성을 향상시키는 학습 전략을 개발한다.
• 실제 열화상 변형, 망각, 카메라 노이즈를 시뮬레이션하는 도메인 특화 증강 모듈(TiAug)을 설계한다.
• 클래스 교환 마스크에서 유도된 합성 음성 샘플을 활용하여 특징의 구분 능력을 향상시키는 자가적대적 대비 손실(SAM-CL)을 제안한다.

제안 방법

• 클래스 교환 레이블 마스크에서 유도된 소프트맥스 로짓을 비교하여 특징의 구분 능력을 향상시키는 자가적대적 다중스케일 대비 학습(SAM-CL) 손실을 제안한다.
• 주변 온도 조절, 망각(예: 안경, 머리카락) 모델링, 카메라 노이즈 통합을 통해 실제 열화상 조건을 시뮬레이션하는 열화상 영상 증강(TiAug) 모듈을 설계한다.
• 제어된 실험실 열화상 영상을 TiAug를 적용하여 실제적이고 다양한 변형으로 변환함으로써, 실제 세계 데이터 수집 없이도 데이터 증강을 가능하게 한다.
• UNet, Attention-UNet, DeepLabV3, HRNetv2 등의 분할 네트워크를 SAM-CL 손실과 TiAug와 함께 공동으로 훈련시켜 강건성과 일반화 능력을 향상시킨다.
• 다양한 수용 필드 수준에서 대비 학습 목표를 향상시키기 위해 다중스케일 특징 표현을 활용한다.
• 예측 로짓과 클래스 교환 마스크에서 유도된 합성 음성 샘플 간의 겹침을 활용하여 잘못된 예측에 대해 손실을 증가시켜 적대적 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터로도 자가적대적 대비 학습 프레임워크가 열화상 얼굴 영상의 의미적 분할 성능을 향상시킬 수 있는가?
• RQ2 실제 세계 데이터 수집 없이도 제안된 TiAug 모듈이 실제 열화상 변형과 망각을 효과적으로 시뮬레이션할 수 있는가?
• RQ3 TiAug와 함께 사용된 SAM-CL 손실이 다양한 분할 네트워크와 제약 없는 실제 세계 시나리오에서 일반화 능력을 향상시키는가?
• RQ4 열화상 영상에서 이마 털과 안경 등 망각 상황을 다룰 때 이 프레임워크가 최신 기술 대비 얼마나 뛰어난 성능을 보이는가?
• RQ5 증강 및 손실 구성 요소를 적응시킴으로써 SAM-CL 프레임워크가 제한된 데이터를 가진 다른 영상 모odalities로 일반화될 수 있는가?

주요 결과

• SAM-CL 프레임워크는 Thermal-Face-Database에서 다양한 아키텍처(UNet, Attention-UNet, DeepLabV3, HRNetv2)에 대해 일관되게 분할 성능 향상을 보였다.
• TiAug 모듈은 주변 온도 변화, 망각, 카메라 노이즈를 포함한 실제 열화상 변형을 효과적으로 시뮬레이션하여 모델의 일반화 능력을 향상시켰다.
• 정성적 분석 결과, SAM-CL로 훈련된 모델은 이마 털 망각, 안경, 저해상도 열화상 영상 처리에서 최신 기술 대비 뛰어난 성능을 보였다.
• 모바일 열화상 카메라로 확보한 DeepBreath 데이터셋에서도 SAM-CL로 훈련된 모델은 높은 성능를 유지하여 다양한 카메라 사양 간의 강건성을 입증했다.
• TiAug와 함께 사용된 SAM-CL 손실은 극단적인 온도 변화와 복잡한 망각을 포함한 제약 없는 환경에서도 신뢰할 수 있는 분할을 가능하게 했다.
• 추가적인 실제 세계 데이터 수집 없이도 일관된 성능 향상을 달성하여, 데이터가 부족한 열화상 시각화 응용 분야에 적합한 프레임워크를 제공했다.