[논문 리뷰] The Liar's Walk: Detecting Deception with Gait and Gesture

Tanmay Randhavane, Uttaran Bhattacharya외 4명|arXiv (Cornell University)|2019. 12. 14.

Anomaly Detection Techniques and Applications참고 문헌 73인용 수 11

한 줄 요약

이 논문은 보행 영상에서 보행과 제스처 신호를 이용해 위선적 보행을 탐지하는 딥러닝 접근법을 제안한다. 새로운 데이터셋(DeceptiveWalk)을 바탕으로 심리학 기반 특징, 제스처 애너테이션, 그리고 LSTM로 학습된 딥 특징을 결합함으로써, 수작업 특징과 최신 감정/행동 분류기보다 뚜렷이 뛰어난 88.41%의 정확도를 달성한다.

ABSTRACT

We present a data-driven deep neural algorithm for detecting deceptive walking behavior using nonverbal cues like gaits and gestures. We conducted an elaborate user study, where we recorded many participants performing tasks involving deceptive walking. We extract the participants' walking gaits as series of 3D poses. We annotate various gestures performed by participants during their tasks. Based on the gait and gesture data, we train an LSTM-based deep neural network to obtain deep features. Finally, we use a combination of psychology-based gait, gesture, and deep features to detect deceptive walking with an accuracy of 88.41%. This is an improvement of 10.6% over handcrafted gait and gesture features and an improvement of 4.7% and 9.2% over classifiers based on the state-of-the-art emotion and action classification algorithms, respectively. Additionally, we present a novel dataset, DeceptiveWalk, that contains gaits and gestures with their associated deception labels. To the best of our knowledge, ours is the first algorithm to detect deceptive behavior using non-verbal cues of gait and gesture.

연구 동기 및 목표

• 비언어적 신호인 보행과 제스처를 이용해 데이터 기반의 위선적 보행 탐지 방법을 개발하기.
• 얼굴 표정과는 달리 의식적으로 제어하기 어려운 보행과 제스처를 이용한 위선 탐지에 대한 연구 부족을 보완하기.
• 위선 탐지용으로 레이블이 부여된 보행과 제스처가 포함된 새로운 공개 데이터셋 DeceptiveWalk을 구축하기.
• 수작업 특징과 최신 감정/행동 분류 모델을 초월해 위선 탐지 정확도를 향상시키기.
• 실증적 데이터 수집 및 분석을 통해 위선적 보행과 관련된 심리학적 및 행동 패턴을 탐색하기.

제안 방법

• 162명의 참가자가 위선적 보행과 자연스러운 보행 작업을 수행하는 통제된 사용자 연구를 실시.
• 최신 기술의 인간 자세 추정을 사용해 보행 영상에서 3D 보행 시퀀스를 추출.
• 주머니에 손을 넣기, 주변을 둘러보다, 얼굴을 만지기, 핸드폰 확인하기 등의 제스처를 애너테이션.
• 위선의 행동적 지표를 캡처하기 위해 심리학 기반의 보행 및 제스처 특징을 계산.
• 3D 자세 시퀀스에서 분류 가능한 딥 특징을 학습하기 위해 LSTM 기반 딥 네트워크를 훈련.
• 보행, 제스처, 딥 특징을 통합하여 이원 분류를 위한 완전 연결 분류기로 입력하는 유일한 위선 특징 표현을 구성.

실험 결과

연구 질문

• RQ1 보행과 제스처와 같은 비언어적 신호가 위선적 보행 행동을 신뢰성 있게 나타낼 수 있는가?
• RQ2 심리학 기반의 보행 및 제스처 특징과 LSTM으로 학습된 딥 특징은 위선 탐지에서 어떻게 비교되는가?
• RQ3 위선적 보행자와 자연스러운 보행자 간에 제스처(예: 주머니에 손 넣기, 주변 둘러보기 등)에서 어떤 차이가 있는가?
• RQ4 신규 데이터셋으로 훈련된 딥러닝 모델이 기존 최신 감정 및 행동 분류 모델보다 위선 탐지 정확도에서 뛰어나게 되는가?
• RQ5 통제된 환경에서 위선적 보행과 관련된 주요 행동 패턴과 제스처 추세는 무엇인가?

주요 결과

• 제안된 방법은 위선적 보행 탐지에서 88.41%의 정확도를 달성하여 수작업 특징 대비 10.6% 향상.
• 감정 분류 알고리즘은 4.7% 향상, 행동 분류 알고리즘은 9.2% 향상되어 최신 기술보다 위선 탐지 정확도에서 뛰어남.
• 위선자들은 자연스러운 보행자보다 손을 주머니에 넣고, 주변을 둘러보다, 얼굴을 만지며, 핸드폰을 확인하는 경향이 뚜렷이 높음.
• 자연 상태에 있는 참가자들은 위선자들보다 더 자주 셔츠나 재킷을 만지며, 위선 시 제어된 행동을 보임을 시사.
• 머리 만지기, 손을 접는 등의 제스처 패턴은 위선적 조건과 자연 조건에서 유사한 빈도로 발생하여 행동적 제어 또는 적응 가능성을 시사.
• 시각화 결과, 통합된 보행+제스처 특징과 딥 특징이 저차원 공간에서 잘 분리되어 있어 효과적인 분류 학습이 이루어졌음을 나타냄.