[논문 리뷰] Physiological and Affective Computing through Thermal Imaging: A Survey

Youngjun Cho, Nadia Bianchi‐Berthouze|arXiv (Cornell University)|2019. 08. 27.

Emotion and Mood Recognition참고 문헌 114인용 수 10

한 줄 요약

이 종합 검토는 자율신경계 활동과 관련된 피부 온도 변화를 분석하여 비접촉식 생리적 및 정서 상태 모니터링을 위한 열화상 촬영 기술을 탐구한다. 열영상에서 정서 상태로 이르는 계산적 파이프라인을 개략적으로 제시하고, 기술적 및 방법론적 과제를 규명하며, 저비용 열화상 카메라를 활용한 실생활 및 광범위한 정서 컴퓨팅 응용 분야를 위한 향후 연구 방향을 도식화한다.

ABSTRACT

Thermal imaging-based physiological and affective computing is an emerging research area enabling technologies to monitor our bodily functions and understand psychological and affective needs in a contactless manner. However, up to recently, research has been mainly carried out in very controlled lab settings. As small size and even low-cost versions of thermal video cameras have started to appear on the market, mobile thermal imaging is opening its door to ubiquitous and real-world applications. Here we review the literature on the use of thermal imaging to track changes in physiological cues relevant to affective computing and the technological requirements set so far. In doing so, we aim to establish computational and methodological pipelines from thermal images of the human skin to affective states and outline the research opportunities and challenges to be tackled to make ubiquitous real-life thermal imaging-based affect monitoring a possibility.

연구 동기 및 목표

• 통제된 환경 및 실생활 환경에서 생리적 및 정서 컴퓨팅 분야의 최신 기술 동향을 검토하기 위해.
• 열영상 데이터를 의미 있는 정서 상태 추정으로 변환하기 위한 기술적 및 방법론적 요구사항을 규명하기 위해.
• 열피부온도 데이터에서 정서 상태로 이르는 계산적 파이프라인을 수립하기 위해.
• 광범위한 실생활 열기반 정서 모니터링을 가능하게 하는 데 있어 연구 격차와 과제를 부각하기 위해.
• 정서 컴퓨팅 분야에서 저비용, 이동식 열화상 촬영 기술을 구현하기 위한 향후 연구 기회를 제시하기 위해.

제안 방법

• 2000년부터 2019년까지 생리적 및 정서 컴퓨팅 분야에서 열화상 촬영 응용에 관한 문헌에 대한 체계적 검토를 수행하였다.
• 생리적 징후(예: 얼굴 온도 변화, 말초 혈류)와 정서 상태 추정 기반으로 연구를 분류하였다.
• 열화상 카메라의 미니어처화 및 비용 절감 추세를 포함한 하드웨어 발전 과정을 분석하였다.
• 열영상 시퀀스에서 특징을 추출하기 위해 사용된 신호 처리 및 머신러닝 기법을 매핑하였다.
• 자료 확보, 전처리, 특징 추출, 분류 단계에서의 기존 방법론을 평가하였다.
• 환경 간섭, 校정, 개인 간 일반화 문제 등 주요 과제를 규명하였다.

실험 결과

연구 질문

• RQ1 어떻게 열화상 촬영을 이용하여 정서적 및 심리적 상태와 관련된 생리적 변화를 비침습적으로 모니터링할 수 있는가?
• RQ2 실생활 정서 컴퓨팅 응용 분야에 열화상 촬영을 구현하는 데 있어 현재 존재하는 기술적 한계는 무엇인가?
• RQ3 원시 열영상에서 정서 상태 예측으로 이르는 계산적 파이프라인이 어떻게 확립되어 있는가?
• RQ4 환경적 및 생리적 변수는 열기반 정서 모니터링의 신뢰성에 어떻게 영향을 미치는가?
• RQ5 강건하고 일반화 가능하며 광범위하게 활용 가능한 열기반 정서 컴퓨팅 시스템을 달성하기 위한 열린 과제는 무엇인가?

주요 결과

• 열화상 촬영은 얼굴 및 사지와 같은 부위의 미세한 피부 온도 변화를 통해 자율신경계 반응을 비접촉식으로 모니터링할 수 있다.
• 얼굴 온도 패tern은 스트레스, 불안, 인지적 부담과 같은 정서 상태와 상관관계가 있으며, 통제된 실험에서 측정 가능한 변화가 관찰되었다.
• 최근 저비용·소형 열화상 카메라의 발전 덕분에 실험실 기반 응용에서 실생활 응용으로의 전환 가능성이 높아졌다.
• 진전이 있었음에도 불구하고, 환경에 대한 내성, 개인 간 변동성, 다양한 조명 및 열조건에서의 校정 문제 등 과제가 여전히 존재한다.
• 표준화된 데이터셋과 평가 프로토콜의 부재로 재현성 및 모델 일반화에 장애가 존재한다.
• 향후 연구는 실시간 처리 향상, 개인 맞춤화, 다중 모odal 센싱 통합을 통한 정서 인식 향상에 초점을 맞춰야 한다.