[논문 리뷰] Can lies be faked? Comparing low-stakes and high-stakes deception video datasets from a Machine Learning perspective

Mateus Karvat Camara, Adriana Postal외 2명|arXiv (Cornell University)|2022. 11. 23.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 연구는 게임 쇼에서 촬영한 저위험성 기만 영상으로 훈련된 기계학습 모델이 실제 법정 심문에서의 고위험 기만을 효과적으로 탐지할 수 있는지 조사한다. Slowfast 기반 딥러닝 모델을 사용한 실험 결과, 고위험 기만을 분류할 때 저위험성 데이터로 훈련된 네트워크가 고위험 데이터로 훈련된 모델보다 성능이 뛰어나, 기만 유형 간 개념적 차이가 있음에도 불구하고 저위험성 데이터가 실제 기만 탐지 시스템 훈련에 유용할 수 있음을 시사한다.

ABSTRACT

Despite the great impact of lies in human societies and a meager 54% human accuracy for Deception Detection (DD), Machine Learning systems that perform automated DD are still not viable for proper application in real-life settings due to data scarcity. Few publicly available DD datasets exist and the creation of new datasets is hindered by the conceptual distinction between low-stakes and high-stakes lies. Theoretically, the two kinds of lies are so distinct that a dataset of one kind could not be used for applications for the other kind. Even though it is easier to acquire data on low-stakes deception since it can be simulated (faked) in controlled settings, these lies do not hold the same significance or depth as genuine high-stakes lies, which are much harder to obtain and hold the practical interest of automated DD systems. To investigate whether this distinction holds true from a practical perspective, we design several experiments comparing a high-stakes DD dataset and a low-stakes DD dataset evaluating their results on a Deep Learning classifier working exclusively from video data. In our experiments, a network trained in low-stakes lies had better accuracy classifying high-stakes deception than low-stakes, although using low-stakes lies as an augmentation strategy for the high-stakes dataset decreased its accuracy.

연구 동기 및 목표

• 기계학습 관점에서 저위험성 기만과 고위험성 기만 간 개념적 구분이 실제로 성립하는지 평가하기.
• 저위험성 기만 데이터셋이 고위험 기만 탐지용 모델 훈련에 사용될 수 있는지 평가하기.
• 저위험성 기만이 고위험 기만 데이터셋에 대한 데이터 증강 전략으로서의 효과성 조사하기.
• 실생활 법정(고위험)과 상자 속의 거짓말(저위험)이라는 두 개의 공개 영상 기반 기만 데이터셋 간 모델 성능 비교하기.
• 특히 이 분야에서 데이터 부족 문제로 인해 향후 대규모 기만 탐지 데이터셋 구축을 안내할 실증적 근거 제공하기.

제안 방법

• 영상 기반 이진 기만 분류를 위해 시각적 특징에 집중한 Slowfast 컨볼루션 신경망 아키텍처를 사용하였다.
• 두 개의 공개 데이터셋을 사용하여 실험을 수행하였다: 실제 법정 심문(RLT), 실제 법정 심문에서 나온 고위험 데이터셋이며, 상자 속의 거짓말(BoL), 게임 쇼에서 나온 저위험 데이터셋이다.
• 모델은 각 데이터셋에 대해 별도로 훈련 및 테스트하였으며, 교차 훈련 및 데이터 증강 설정에서도 실험하였다.
• 다양한 실험 설정에서 진술의 진실성 대 기만성 영상에 대한 이진 분류 정확도를 사용하여 성능을 평가하였다.
• 이동 가능성 평가를 위해 저위험성 데이터로 훈련하고 고위험성 데이터로 테스트하는 것과 그 반대의 경우를 비교하였다.
• 통계 분석은 일반화 능력과 데이터 증강 효과를 평가하기 위해 다양한 훈련 및 테스트 조합 간 정확도 비교에 집중하였다.

실험 결과

연구 질문

• RQ1 저위험성 기만 데이터로 훈련된 기계학습 모델이 고위험 기만을 효과적으로 분류할 수 있는가?
• RQ2 저위험성 기만 데이터를 데이터 증강 전략으로 사용할 경우 고위험 기만 탐지 성능이 향상되는가?
• RQ3 고위험성 기만 데이터셋과 저위험성 기만 데이터셋으로 훈련된 모델 간 성능 차이가 유의미한가?
• RQ4 고위험 기만 데이터로 훈련된 모델이 저위험 기만 시나리오로 일반화될 수 있는가?
• RQ5 성능 차이가 데이터셋 간 의미적 또는 부수적 차이(예: 편향, 데이터 양) 때문인지, 아니면 기만의 본질적 특성 때문인가?

주요 결과

• 저위험성 기만 데이터(상자 속의 거짓말)로 훈련된 모델은 고위험 기만(실생활 법정)을 분류할 때 58.64%의 정확도를 기록하였으며, 이는 고위험 데이터로 훈련된 모델이 동일한 세트에서 테스트했을 때의 성능을 뛰어넘었다.
• 고위험 기만 데이터(실생활 법정)로만 훈련된 모델은 저위험 기만 데이터를 테스트했을 때 55.92%의 정확도를 기록하였으며, 이는 인간 기준 정확도 54% 이하에 못 미쳤다.
• 고위험성 및 저위험성 데이터를 하나의 훈련 세트로 통합한 결과, 고위험 데이터셋을 단독으로 사용했을 때보다 성능이 떨어졌으며, 도메인 이동으로 인한 부정적 간섭이 발생했음을 시사했다.
• 고위험 기만 데이터(실생활 법정)를 증강 전략으로 사용하면 저위험 기만 데이터에서의 성능이 크게 향상되었으며, 정확도는 55.92%에서 62.87%로 상승했다.
• 저위험성 데이터로 훈련된 모델이 고위험 데이터에서 58.64%의 정확도를 기록한 반면, 고위험 데이터로 훈련된 모델은 저위험 데이터에서 55.92%의 정확도를 기록하여, 저위험성 데이터가 고위험 탐지에 더 유용할 수 있음을 시사한다.
• 저위험성 기만과 고위험성 기만 간 개념적 구분이 있음에도 불구하고, 결과는 저위험 기만 데이터가 고위험 기만 탐지 향상에 효과적으로 활용될 수 있음을 보여주며, 이러한 데이터가 본질적으로 상호 배타적이라는 가정을 도전한다.