[논문 리뷰] The Use of AI for Thermal Emotion Recognition: A Review of Problems and Limitations in Standard Design and Data

Catherine Ordun, Edward Raff외 1명|arXiv (Cornell University)|2020. 09. 22.

Infrared Thermography in Medicine인용 수 10

한 줄 요약

이 논문은 열화상 얼굴 정서 인식(FER)에 인공지능(AI)을 사용할 때의 과제와 한계를 검토하며, RGB에 비해 반명명성과 편향에 강한 정서 감지가 가능하다는 잠재적 이점에도 불구하고 현재의 데이터셋이 표준화 부족, 다양성 부족, 문서화 부족으로 어려움을 겪고 있음을 강조한다. 저자들은 윤리적인 고성능 AI 개발을 위해 데이터 중앙집중화, 다중 데이터셋 통합, 철저한 개인정보 보호 검증을 촉구한다.

ABSTRACT

With the increased attention on thermal imagery for Covid-19 screening, the public sector may believe there are new opportunities to exploit thermal as a modality for computer vision and AI. Thermal physiology research has been ongoing since the late nineties. This research lies at the intersections of medicine, psychology, machine learning, optics, and affective computing. We will review the known factors of thermal vs. RGB imaging for facial emotion recognition. But we also propose that thermal imagery may provide a semi-anonymous modality for computer vision, over RGB, which has been plagued by misuse in facial recognition. However, the transition to adopting thermal imagery as a source for any human-centered AI task is not easy and relies on the availability of high fidelity data sources across multiple demographics and thorough validation. This paper takes the reader on a short review of machine learning in thermal FER and the limitations of collecting and developing thermal FER data for AI training. Our motivation is to provide an introductory overview into recent advances for thermal FER and stimulate conversation about the limitations in current datasets.

연구 동기 및 목표

• AI 기반 열화상 얼굴 정서 인식(FER)의 현재 상태를 검토하고 핵심 기술적 및 윤리적 한계를 규명하기.
• 신뢰할 수 있는 AI 훈련과 검증을 방해하는 표준화되지 않은 고품질의 다각도 열화상 FER 데이터셋의 부족 문제를 다루기.
• 열화상 이미징이 RGB 기반 FER 시스템에 비해 정서 인식에서 의미 있는 개인정보 보호 기능을 제공하고, 인구 통계적 편향을 줄일 수 있는지 평가하기.
• 데이터셋 중앙집중화, 다중 데이터셋 통합, 개인정보 보호 검증과 같은 실천 가능한 조치를 통해 윤리적이고 견고한 열화상 FER 연구를 촉진하기.
• 공공 보건 및 감시 환경에서 점점 더 널리 사용되는 상황를 고려해 열화상 FER의 편향 및 악용 위험에 대한 비판적 논의를 자극하기.

제안 방법

• 기존 열화상 FER 관련 문헌을 종합적으로 검토하여 데이터셋, 실험 설계, AI 방법론에 집중하기.
• 문헌에서 추출한 14개의 열화상 FER 데이터셋을 분석하여 데이터 수집 절차, 레이블링 관행, 인구 통계적 표현의 일관성 부족을 규명하기.
• 장파장 적외선(LWIR) 센서(8–14 μm)가 정서 상태와 관련된 피하 온도 변화를 캡처하는 데 기여하는 방식을 분석하며, FLIR SC660 및 Raytheon ExplorIR 등의 카메라 데이터를 활용하기.
• 재현 가능성을 향상시키기 위해 센서별, 정서 유형별, 맥락 기반(자연스러운/포즈 기반) 메타데이터 레이블링을 포함하는 데이터셋 정제 프레임워크 제안하기.
• 재현 가능성과 투명성을 향상시키기 위해 Gebru 등(2018)의 표준 문서 템플릿을 활용할 것을 촉구하기.
• 열화상 이미지가 나이, 성별, 민족, 인종과 같은 민감한 개인 정보를 효과적으로 가림으로써 진정한 개인정보 보호 기능을 제공하는지 정량적으로 검증하기 위해 IRB 승인을 받은 연구를 시행할 것을 요청하기.

실험 결과

연구 질문

• RQ1 RGB 기반 얼굴 인식에 비해 열화상 이미징이 얼마나 반명명성 정서 인식을 가능하게 할 수 있는가?
• RQ2 신뢰할 수 있는 AI 모델 개발을 방해하는 주요 기술적 및 데이터 기반 한계는 무엇인가?
• RQ3 기존의 열화상 FER 데이터셋은 인구 통계, 실험 조건, 레이블링 관행 측면에서 얼마나 다양하고 대표적인가?
• RQ4 열화상 FER 데이터는 레이스나 성별과 같은 민감한 인구 통계적 특성을 효과적으로 가릴 수 있으며, 그에 대한 증거는 무엇인가?
• RQ5 연구자들이 열화상 FER 연구의 데이터 품질, 상호운용성, 윤리 기준을 향상시키기 위해 취할 수 있는 실질적 조치는 무엇인가?

주요 결과

• 열화상 이미징은 정서 상태와 관련된 피하 온도 변화를 캡처하여 RGB보다 비침습적이며 생물학적으로 더 관련성이 높을 수 있는 모달리티를 제공한다.
• 그 잠재력에도 불구하고 표준화되고 공개된 열화상 FER 데이터셋은 소수에 불과하며, 대부분의 데이터셋은 인구 통계적 다양성과 실험 일관성 측면에서 제한되어 있다.
• 많은 열화상 FER 데이터셋은 기업 소유이거나 공개되지 않으며, 일관되지 않은 수집 절차로 인해 재현성과 벤치마킹이 어렵다.
• 열화상 이미지가 정체성이나 레이스, 성별과 같은 민감한 인구 통계적 특성을 효과적으로 가리는지에 대한 실증적 검증이 부족하다.
• 열화상 FER와 얼굴 인식(FR)의 통합은 열화상 데이터가 RGB만큼 정밀하지 않더라도 생체 특징를 활용한 열화상 FR가 가능하기 때문에 개인정보 보호를 약화시킬 수 있다.
• 연구자들은 표준화된 문서화, 데이터셋 중앙집중화, IRB 승인을 받은 연구를 통해 개인정보 보호 및 편향 완화 주장의 타당성을 검증한 후에야 열화상 FER 시스템을 도입할 것을 촉구받는다.