[논문 리뷰] A Deep Learning Approach for Multimodal Deception Detection

Gangeshwar Krishnamurthy, Navonil Majumder외 2명|arXiv (Cornell University)|2018. 03. 01.

Deception detection and forensic psychology인용 수 37

한 줄 요약

이 논문은 실제 재판 영상에서 시각적, 텍스트적, 청각적, 미세표정 특징을 융합하는 딥러닝 모델을 제안하여 위증을 탐지한다. 단순하면서도 효과적인 다층퍼셉트론(MLP)을 사용한 계층적 융합 전략을 통해, 121개의 영상으로 구성된 작고 현실적인 데이터셋에서 96.14%의 정확도와 0.9799의 AUC를 달성하여 이전의 최고 성능 모델들을 뛰어넘었다.

ABSTRACT

Automatic deception detection is an important task that has gained momentum in computational linguistics due to its potential applications. In this paper, we propose a simple yet tough to beat multi-modal neural model for deception detection. By combining features from different modalities such as video, audio, and text along with Micro-Expression features, we show that detecting deception in real life videos can be more accurate. Experimental results on a dataset of real-life deception videos show that our model outperforms existing techniques for deception detection with an accuracy of 96.14% and ROC-AUC of 0.9799.

연구 동기 및 목표

• 영상, 청각, 텍스트, 미세표정 신호를 융합하여 실제 환경에서의 위증 탐지 정확도를 향상시키는 것.
• 기존의 머신러닝 및 수작업 특징 추출 방법보다 위증 탐지에서 뛰어난 성능을 내는 딥러닝 접근법을 개발하는 것.
• 제한된 데이터로도 효과적인 특징 융합을 통해 단순한 신경망 아키텍처가 최고 수준의 성능을 달성할 수 있음을 보여주는 것.
• 특히 시각적 및 텍스트적 특징이 위증 탐지에 기여하는 상대적 기여도를 조사하는 것.
• 미다중모odal 위증 탐지 분야의 향후 연구를 위한 강력한 베이스라인을 제공하는 것.

제안 방법

• 영상 클립에서 시공간적 시각적 특징을 추출하기 위해 3D-CNN을 사용한다.
• 정적 및 비정적 워드 임베딩을 모두 사용하는 TextCNN 모델을 통해 텍스트적 특징을 추출한다.
• OpenSMILE 등의 오픈소스 도구를 사용하여 청각적 특징을 추출하며, 이는 프로소디크 및 스펙트럼적 특성들을 반영한다.
• 전용 얼굴 랜드마크 및 액션 유닛 인식 파이프라인을 통해 미세표정 특징을 탐지한다.
• 모든 모odal의 특징을 융합하기 위해 다층퍼셉트론(MLP)을 사용하며, 계층적 융합(H+C) 전략이 후기 융합과 초기 융합 전략을 결합한다.
• 교차엔트로피 손실을 사용하고 Adam으로 최적화하며, L2 정규화를 통해 작은 데이터셋에서의 과적합을 완화하기 위해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 텍스트, 청각, 영상, 미세표정 등의 다중모달 신호를 융합하는 딥러닝 모델이 기존의 머신러닝 모델보다 위증 탐지에서 뛰어난 성능을 낼 수 있는가?
• RQ2 실제 재판 영상에서 위증 탐지 정확도에 가장 크게 기여하는 모달은 무엇인가?
• RQ3 수작업 특징 설계에 의존하는 모델과 비교해, 신경망을 사용한 엔드 투 엔드 학습이 성능 향상에 기여하는가?
• RQ4 다양한 특징 융합 전략(예: 초기 융합 대 후기 융합)에서 모델의 성능가 어떻게 일반화되는가?
• RQ5 모델의 성능은 도메인 외부 시나리오나 더 크고 다양한 데이터셋에 적용되었을 때 얼마나 떨어지는가?

주요 결과

• 제안된 계층적 융합 전략을 사용한 MLP(H+C)가 가장 높은 성능을 보이며, 테스트 세트에서 96.14%의 정확도와 0.9799의 AUC를 달성했다.
• 시각적 특징만으로도 93.08%의 정확도를 기록하여 위증 탐지에서 주도적인 역할을 함을 시사한다.
• 비정적 워드 임베딩을 사용한 텍스트적 특징는 90.24%의 정확도를 기록하여 정적 임베딩(80.16%)보다 뛰어난 성능을 보였다.
• 모든 특징(비정적)을 사용한 모델은 95.24%의 정확도와 0.9538의 AUC를 기록하여 L-SVM 및 LR과 같은 베이스라인 모델보다 뚜렷이 뛰어났다.
• 미세표정 특징만으로도 76.19%의 정확도를 기록하여 미세한 위증 신호를 탐지하는 데 있어 관련성이 있음을 시사한다.
• 계층적 융합(H+C) 전략은 초기 또는 후기 융합 전용 전략보다 빠르게 수렴하고 더 높은 성능을 달성했다.