[논문 리뷰] Identifying Emotion from Natural Walking

Liqing Cui, Shun Li외 3명|arXiv (Cornell University)|2015. 08. 03.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 3

한 줄 요약

이 논문은 손목과 발목에 착용한 스마트폰의 가속도계 데이터를 사용하여 자연스러운 보행 중 인간의 정서를 식별하는 방법을 제안한다. 이동 평균 필터링을 적용하고, 시간 도메인 및 주파수 도메인에서 114개의 특징을 추출하며, 차원 축소를 위해 주성분 분석(PCA)을 사용함으로써, SVM를 사용할 경우 분류 정확도가 분노 상태에 대해 최대 90.31%, 행복 상태에 대해 89.76%에 이를 수 있었으며, 발목 데이터가 손목 데이터보다 성능이 뛰어나 보행 패턴이 정서 상태를 신뢰성 있게 반영함을 보여주었다.

ABSTRACT

Emotion identification from gait aims to automatically determine persons affective state, it has attracted a great deal of interests and offered immense potential value in action tendency, health care, psychological detection and human-computer(robot) interaction.In this paper, we propose a new method of identifying emotion from natural walking, and analyze the relevance between the traits of walking and affective states. After obtaining the pure acceleration data of wrist and ankle, we set a moving average filter window with different sizes w, then extract 114 features including time-domain, frequency-domain, power and distribution features from each data slice, and run principal component analysis (PCA) to reduce dimension. In experiments, we train SVM, Decision Tree, multilayerperception, Random Tree and Random Forest classification models, and compare the classification accuracy on data of wrist and ankle with respect to different w. The performance of emotion identification on acceleration data of ankle is better than wrist.Comparing different classification models' results, SVM has best accuracy of identifying anger and happy could achieve 90:31% and 89:76% respectively, and identification ratio of anger-happy is 87:10%.The anger-neutral-happy classification reaches 85%-78%-78%.The results show that it is capable of identifying personal emotional states through the gait of walking.

연구 동기 및 목표

• 스마트폰에 부착된 웨어러블 가속도계 데이터를 이용해 자연스러운 보행에서 정서 상태를 신뢰성 있게 유추할 수 있는지 조사한다.
• 정서 식별에서 손목과 발목에 부착한 센서의 성능을 비교한다.
• 특히 이동 평균 필터링의 창 크기 변화가 분류 정확도에 미치는 영향을 평가한다.
• 가속도 특징에서 정서를 분류하는 데 가장 우수한 성능을 보이는 기계 학습 모델을 확인한다.
• 일상적인 스마트폰 센서를 활용한 지속적이고 비침습적인 정서 상태 모니터링의 가능성을 탐색한다.

제안 방법

• 참가자들이 자연스럽게 걷는 동안 손목과 발목에 스마트폰을 착용하고 가속도계 데이터를 수집하였다.
• 원시 가속도 신호의 노이즈를 줄이고 부드럽게 하기 위해 창 크기 w(3 또는 5)를 가진 이동 평균 필터를 적용하였다.
• 각 필터링된 데이터 세그먼트에서 총 114개의 특징—시간 도메인, 주파수 도메인, 파wr 및 분포 특징—을 추출하였다.
• 고차원 특징 집합에서 중복 정보를 제거하고 차원을 축소하기 위해 주성분 분석(PCA)을 사용하였다.
• 10겹 교차 검증을 사용하여 SVM, 의사결정트리, 다층 퍼셉트론, 랜덤 트리, 랜덤 포레스트 등 5개의 분류 모델을 훈련하고 평가하였다.
• 분류 정확도에 미치는 영향을 평가하기 위해 창 크기(w=3, w=5)와 센서 위치(손목 대비 발목) 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 스마트폰 가속도계 데이터를 사용하여 자연스러운 보행에서 분노, 행복, 중립과 같은 정서 상태를 정확하게 분류할 수 있는가?
• RQ2 센서의 부착 위치(손목 대비 발목)가 정서 분류 정확도에 유의미한 영향을 미치는가?
• RQ3 이동 평균 필터 창 크기(w)가 정서 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ4 어떤 기계 학습 모델이 보행 특징에서 정서 상태 인식에 가장 높은 분류 정확도를 보이는가?
• RQ5 노이즈 감소 및 특징 추출을 포함한 사전 처리 단계가 최종 분류 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• SVM 분류기가 가장 높은 정확도를 기록하였으며, 발목 가속도계 데이터를 사용할 경우 분노 식별에 90.31%, 행복 식별에 89.76%의 정확도를 달성하였다.
• 발목 데이터는 항상 손목 데이터보다 정서 분류 성능이 뛰어났으며, 이동 평균 창 크기 w=5일 때 전체적으로 가장 높은 정확도 90.31%를 기록하였다.
• 혼동 행렬 결과는 행복이 가장 자주 분노로 잘못 분류되고, 그 반대도 자주 발생함을 보여주며, 이 두 정서 간의 보행 패턴이 유사함을 시사한다.
• 중립 정서는 가장 정확하게 분류되었으며, w=3일 때 손목 데이터와 발목 데이터 모두 86%의 정확도를 기록했고, w=5일 때 발목 데이터는 78%의 정확도를 기록하였다.
• 분노-중립-행복 분류에서는 발목 데이터와 w=5를 사용했을 때 분노에 대해 85%, 중립에 대해 78%, 행복에 대해 78%의 정확도를 기록하여 세 클래스 모두 중간 수준이지만 일관된 성능을 보였다.
• 본 연구는 보행 패턴이 정서 상태를 구분할 수 있는 특징을 내포하고 있으며, 이동 평균 필터링 및 PCA와 같은 사전 처리 단계가 모델 성능을 크게 향상시킨다는 점을 확인하였다.