[논문 리뷰] Deception Detection from Linguistic and Physiological Data Streams Using Bimodal Convolutional Neural Networks

Panfeng Li, Mohamed Abouelenien외 4명|arXiv (Cornell University)|2023. 11. 18.

Deception detection and forensic psychology인용 수 8

한 줄 요약

요약: 이 논문은 언어적 기록과 생리 신호를 함께 학습하는 이중 모달 CNN 프레임워크를 제시하여 기만 탐지를 수행하고, 작은 데이터셋을 다루기 위해 모달리티별 학습 및 다수결 투표를 활용한다. 결과는 다중 모달 융합이 일반적으로 단일 모달 접근보다 기만 탐지 성능을 향상시키는 것으로 나타났다.

ABSTRACT

Deception detection is gaining increasing interest due to ethical and security concerns. This paper explores the application of convolutional neural networks for the purpose of multimodal deception detection. We use a dataset built by interviewing 104 subjects about two topics, with one truthful and one falsified response from each subject about each topic. In particular, we make three main contributions. First, we extract linguistic and physiological features from this data to train and construct the neural network models. Second, we propose a fused convolutional neural network model using both modalities in order to achieve an improved overall performance. Third, we compare our new approach with earlier methods designed for multimodal deception detection. We find that our system outperforms regular classification methods; our results indicate the feasibility of using neural networks for deception detection even in the presence of limited amounts of data.

연구 동기 및 목표

• 윤리 및 보안 문제로 인한 기만 탐지를 촉진하고 다중 모달 신경망을 다중거짓측정 및 인간 판단에 대한 자동 대안으로 탐구한다.
• 언어적 및 생리적 특징을 공동으로 활용하는 다중 모달 아키텍처를 개발하여 기만 분류를 수행한다.
• 모달리티별 학습과 다수결 투표를 통해 작은 데이터의 도전과제를 해결하고 학습의 안정성을 높인다.
• 전통적인 머신러닝 분류기와 이전의 다중 모달 방법과 BiModal CNN 접근법을 비교한다.
• 제안된 프레임워크의 주제 간 일반화와 안정성을 평가한다.

제안 방법

• transcripts에서 단어 임베딩(word2vec)을 사용하여 언어적 특징을 추출하고 TextCNN과 유사한 2D CNN 구조의 LingCNN을 적용한다.
• recorded signals에서 생리적 특징을 추출하고 PCA로 차원을 축소한 뒤, 1D CNN으로 여러 필터 크기(3, 4, 5)를 갖는 PhysCNN을 적용한다.
• 융합 전에 LingCNN과 PhysCNN을 모달리티별 방식으로 각각 학습시킨다.
• BiModal CNN에서 두 서브 네트워크의 특징을 연결(concatenate)하여 최종 분류를 수행한다.
• 다수의 학습 실행에서 다수결 투표 방식을 통해 소량 데이터와 과적합을 다루고 견고한 최종 예측을 생성한다.
• 다중 모달 CNN 성능을 규칙적 분류기(Decision Tree, SVM, Logistic Regression) 및 이전에 보고된 다중 모달 기만 방법과 비교한다.

Figure 1: BiModal CNN

실험 결과

연구 질문

• RQ1 다음은 언어 및 생리 스트림을 함께 처리하는 이중 모달 CNN이 단일 모달 모델보다 기만 탐지에서 성능을 능가할 수 있는가?
• RQ2 주제 간 학습이 언어적 모달리티와 생리적 모달리티 및 이들의 융합에 대한 기만 탐지 성능에 어떤 영향을 미치는가?
• RQ3 모달리티별 학습 전략과 다수결 투표가 소량 데이터에서의 안정성과 정확도를 개선하는가?
• RQ4 제안된 BiModal CNN의 전통적인 머신러닝 방법 및 이전의 다중 모달 접근과 비교하여 어떤 이점을 제공하는가?

주요 결과

• 언어 모달리티가 일반적으로 강한 기만 탐지 성능을 나타내고, 생리적 특징은 보완적 정보를 제공한다.
• BiModal CNN은 개별 모달리티에 비해 전반적인 정확도를 자주 향상시켜 다중 모달 융합의 이점을 시사한다.
• 주제 간 학습은 주제에 따른 의존성을 보이며, 언어적 특징은 주제 변화에 더 영향을 받는 반면 생리적 특징은 그렇지 않다.
• 다수결 투표 절차는 충분한 실행 횟수(연구에서는 약 200회) 이후 안정적인 예측을 제공한다.
• 일반 모델과 비교할 때 제안된 BiModal CNN은 주제 전반에서 기만/전반 정확도에서 더 우수한 성능을 달성한다.

Figure 2: Deception recall, truthfulness recall, and overall accuracy percentages for individual and integrated modalities using features extracted from the “Abortion” topic