[논문 리뷰] Wearable affect and stress recognition: A review

Philip Schmidt, Attila Reiss외 2명|arXiv (Cornell University)|2018. 11. 21.

Emotion and Mood Recognition참고 문헌 116인용 수 16

한 줄 요약

이 리뷰는 신체적 및 관성 센서에 기반한 웨어러블 기반의 정서 및 스트레스 인식에 대한 종합적인 개요를 제공한다. 심리학적 모델, 정서 상태의 센서 기반 측정, 실험실 및 현장 연구 방법론, 데이터 처리 파이프라인, 분류 기법을 상세히 기술하며, 실제 환경에서 구현 가능한 강력하고 개인화된 웨어러블 정서 인식 시스템을 개발하기 위한 최선의 실천 방안을 제시한다.

ABSTRACT

Affect recognition aims to detect a person's affective state based on observables, with the goal to e.g. provide reasoning for decision making or support mental wellbeing. Recently, besides approaches based on audio, visual or text information, solutions relying on wearable sensors as observables (recording mainly physiological and inertial parameters) have received increasing attention. Wearable systems offer an ideal platform for long-term affect recognition applications due to their rich functionality and form factor. However, existing literature lacks a comprehensive overview of state-of-the-art research in wearable-based affect recognition. Therefore, the aim of this paper is to provide a broad overview and in-depth understanding of the theoretical background, methods, and best practices of wearable affect and stress recognition. We summarise psychological models, and detail affect-related physiological changes and their measurement with wearables. We outline lab protocols eliciting affective states, and provide guidelines for ground truth generation in field studies. We also describe the standard data processing chain, and review common approaches to preprocessing, feature extraction, and classification. By providing a comprehensive summary of the state-of-the-art and guidelines to various aspects, we would like to enable other researchers in the field of affect recognition to conduct and evaluate user studies and develop wearable systems.

연구 동기 및 목표

• 웨어러블 기반의 정서 및 스트레스 인식 연구에 대한 종합적인 개요가 부족한 점을 보완하기 위해.
• 연구자들이 정서의 심리학적 모델과 그 생리학적 연관 요소에 대한 깊이 있는 이해를 가질 수 있도록 하기 위해.
• 실험실 및 현장 연구 설계를 위한 실용적 지침을 제공하기 위해, 바탕이 되는 진술 생성 및 데이터 수집 프로토콜을 포함한다.
• 웨어러블 정서 인식을 위한 데이터 전처리, 특징 추출, 분류 기법의 최신 기법을 요약하기 위해.
• 의료 및 소비 기술 분야의 실생활 응용을 위한 강력하고 개인화되며 구현 가능한 정서 인식 시스템의 개발을 촉진하기 위해.

제안 방법

• 정서 상태 탐지의 기초가 되는 차원적(기분, 각성도, 평가) 및 분류적 모델을 포함한 정서의 심리학적 모델을 검토한다.
• 심박수 변동성, 전도성 활동, 호흡과 같은 정서 상태와 관련된 생리적 변화와 그 웨어러블 센서를 통한 측정 방법을 기술한다.
• 제어된 정서 상태를 유도하기 위해 표준화된 실험실 프로토콜(예: IAPS, 음악, 영상)을 제안한다.
• 현장 연구에서의 바탕이 되는 진술 생성을 위한 지침을 제공하며, 사용자 자가 보고, 활성 레이블링, 맥락 데이터 통합을 포함한다.
• 표준 데이터 처리 체인을 기술한다: 전처리(필터링, 세그먼테이션), 특징 추출(시간 도메인, 주파수 도메인, 시간-주파수 도메인 특징), 분류(예: kNN, SVM, 딥 러닝).
• 실생활 환경에서의 개인화 및 적응성을 가능하게 하기 위해 온라인 학습, 준지도 학습, 전이 학습 등의 새로운 방법론 트렌드를 논의한다.

실험 결과

연구 질문

• RQ1 웨어러블 센싱 환경에서 정서 상태를 정의하고 레이블링하는 데 사용할 수 있는 가장 관련성 있는 정서의 심리학적 모델은 무엇인가요?
• RQ2 웨어러블 환경에서 정서 및 스트레스 상태의 가장 신뢰할 수 있는 지표가 되는 생리적 및 관성 신호는 무엇인가요?
• RQ3 정서 인식을 위한 실생활 비제약 현장 연구에서 유효하고 신뢰할 수 있는 바탕이 되는 진술을 어떻게 수집할 수 있나요?
• RQ4 웨어러블 정서 인식 시스템에서 데이터 전처리, 특징 추출, 분류의 최선의 실천 방안은 무엇인가요?
• RQ5 장기적인 구현 환경에서 개인화 및 적응 가능한 정서 인식을 가능하게 하기 위해 필요한 방법론적 발전(예: 온라인 학습, 전이 학습)은 무엇인가요?

주요 결과

• 심박수 변동성, 전도성 활동, 관성 신호를 측정하는 웨어러블 센서는 정서 및 스트레스 상태에 대한 신뢰할 수 있고 지속적인 지표를 제공한다.
• 생리적 신호와 맥락 데이터를 융합한 다중모달 접근 방식은 단일 모달 시스템 대비 정확도를 최대 10% 향상시킨다.
• 현장 연구는 실생활 적용성에 필수적이며, 이러한 환경에서의 바탕이 되는 진술 생성에는 사용자 자가 보고 및 맥락 데이터 융합을 포함한 신중한 설계가 필요하다.
• 진전이 있음에도 불구하고, 대부분의 현재 시스템은 온라인 학습이나 준지도 학습과 같은 개인화 기법을 활용하지 않으며, 이는 핵심적인 연구 격차로 남아 있다.
• 딥 뉴럴 네트워크는 엔드 투 엔드 특징 학습 및 분류 잠재력을 보여주지만, 높은 계산 자원 요구로 인해 구현에 어려움이 있다.
• 장기적인 정서적 추론(예: 스트레스와 환경 요인 간의 상관관계 식별)은 사용자 인식 향상과 행동 변화 지원에 있어 잠재력을 보이고 있다.