[논문 리뷰] Emotion Recognition From Gait Analyses: Current Research and Future Directions

Shihao Xu, Jing Fang외 5명|arXiv (Cornell University)|2020. 03. 13.

Gait Recognition and Analysis참고 문헌 78인용 수 12

한 줄 요약

이 논문은 보행 기반 정서 인식에 대해 검토하며, 보행 운동학이 정서 상태를 어떻게 반영하는지와 보행 분석을 이용한 자동 정서 감지 프레임워크를 제안한다. 얼굴 및 음성 기반 방법에 비해 원거리에서 관찰 가능하고 비침습적이며 위조하기 어려운 점을 강조하며, 데이터 수집부터 딥러닝 분류에 이르는 주요 기술적 구성요소를 서술한다. 실제 응용에서 정확도와 실시간 성능을 햖을 수 있도록 대규모 데이터셋과 지능형 계산 기법의 도입을 주장한다.

ABSTRACT

Human gait refers to a daily motion that represents not only mobility, but it can also be used to identify the walker by either human observers or computers. Recent studies reveal that gait even conveys information about the walker's emotion. Individuals in different emotion states may show different gait patterns. The mapping between various emotions and gait patterns provides a new source for automated emotion recognition. Compared to traditional emotion detection biometrics, such as facial expression, speech and physiological parameters, gait is remotely observable, more difficult to imitate, and requires less cooperation from the subject. These advantages make gait a promising source for emotion detection. This article reviews current research on gait-based emotion detection, particularly on how gait parameters can be affected by different emotion states and how the emotion states can be recognized through distinct gait patterns. We focus on the detailed methods and techniques applied in the whole process of emotion recognition: data collection, preprocessing, and classification. At last, we discuss possible future developments of efficient and effective gait-based emotion recognition using the state of the art techniques on intelligent computation and big data.

연구 동기 및 목표

• 정서 상태가 보행 패턴에 어떻게 영향을 미치는지에 중점을 두고, 보행 기반 정서 인식에 관한 현재 연구를 체계적으로 검토하는 것.
• 보행 데이터 수집, 전처리, 특징 추출, 분류 과정에서 발생하는 주요 기술적 과제를 규명하는 것.
• 보행이 자동 정서 감지에 있어 비침습적, 원거리 관찰이 가능하고 위조하기 어려운 생체 인식 모odalities로서의 잠재력을 탐색하는 것.
• 지능형 계산과 빅데이터를 활용한 향후 연구 방향을 제안하여 모델의 일반화 능력과 실시간 성능을 향상시키는 것.
• 강력한 딥러닝 학습을 지원하기 위해 대규모, 다양한, 다중 시점의 보행 데이터셋 개발을 주장하는 것.

제안 방법

• 보행 운동학적 파라미터인 스트라이드 길이, 사이클 지속 시간, 이중 지지 시간 등을 정서 상태의 지표로 활용한다.
• 노이즈 감소 및 정규화와 같은 데이터 전처리 기법을 적용하여 정서 분석에 적합한 신호 품질을 향상시킨다.
• 정서와 관련된 구분 가능한 보행 패턴을 추출하기 위해 특징 선택 및 차원 축소 기법을 적용한다.
• 3D CNN과 LSTM을 융합하여 공간-시간적 보행 역학을 포착하는 C3D+ConvLSTM과 같은 딥러닝 모델을 사용한다.
• 환경 조건의 변화에 대비해 모델의 강건성을 향상시키기 위해 RGB 및 RGB-D와 같은 다중 시점 및 다중 모odal 데이터를 통합한다.
• 감시 환경에서 다수의 보행자를 다룰 수 있도록 병렬 타겟 세그멘테이션 기법을 제안하여 시간에 따라 신원 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 다양한 정서 상태(예: 우울, 기쁨)가 측정 가능한 보행 운동학적 파라미터에 어떻게 반영되는가?
• RQ2 정서 인식을 위한 보행 데이터 수집, 전처리, 분류 과정에서 발생하는 주요 기술적 과제는 무엇인가?
• RQ3 딥 네트워크가 어떻게 효과적으로 조합되어 보행 기반 정서 분류의 정확도와 강건성을 향상시킬 수 있는가?
• RQ4 대규모, 다양한, 다중 시점의 보행 데이터는 일반화 가능한 정서 인식 모델을 훈련시키는 데 어떤 역할을 하는가?
• RQ5 공공 감시 환경에서 보행 데이터로부터 실시간, 온라인 정서 예측을 구현하는 데 있어 계산적 및 실용적 장벽은 무엇인가?

주요 결과

• 우울한 개인은 비우울 대조군에 비해 현저히 느린 보행 속도, 짧은 스트라이드 길이, 감소된 이중 지지 시간을 보인다.
• 인간 관찰자도 점광선 표시(점-라이트 디스플레이)에서조차도 정서를 신뢰성 있게 인식할 수 있어, 보행 운동학에 내재된 정서적 신호가 존재함을 시사한다.
• 보행 기반 정서 인식은 원거리에서의 관찰 가능성, 낮은 협조 요구 수준, 모의하기 어려움 등 얼굴 및 음성 기반 방법에 비해 우수한 이점을 제공한다.
• C3D+ConvLSTM과 같은 하이브리드 딥러닝 아키텍처는 공간적 및 시간적 특징 학습을 융합하여 운동 인식 과제에서 뛰어난 성능을 보인다.
• 대규모, 다중 시점, 다중 조건의 데이터셋—예를 들어 HumanID Gait Challenge—은 종합적인 정서-보행 데이터셋을 구축하기 위한 필수적인 템플릿이다.
• 딥 네트워크의 높은 계산 요구량으로 인해 보행에서의 온라인 정서 예측은 여전히 도전 과제이며, 효율적인 실시간 추론 방법이 필요하다.