[논문 리뷰] A personal model of trumpery: Deception detection in a real-world high-stakes setting

Sophie van der Zee, Ronald Poppe외 2명|arXiv (Cornell University)|2018. 11. 05.

Deception detection and forensic psychology참고 문헌 14인용 수 3

한 줄 요약

이 연구는 워싱턴포스트의 사실 확인 자료를 기준으로 하여 미국 대통령의 트윗을 분석함으로써 실제 고위험 상황에서의 기만을 탐지하기 위한 개인 맞춤형 언어 모델을 개발한다. 모델은 샘플 외 트윗의 사실적 정확성을 예측하는 데 73%의 정확도를 달성하여 기만적 언어 패턴이 개인 수준에서 체계적이고 식별 가능하다는 것을 보여준다.

ABSTRACT

Language use reveals information about who we are and how we feel1-3. One of the pioneers in text analysis, Walter Weintraub, manually counted which types of words people used in medical interviews and showed that the frequency of first-person singular pronouns (i.e., I, me, my) was a reliable indicator of depression, with depressed people using I more often than people who are not depressed4. Several studies have demonstrated that language use also differs between truthful and deceptive statements5-7, but not all differences are consistent across people and contexts, making prediction difficult8. Here we show how well linguistic deception detection performs at the individual level by developing a model tailored to a single individual: the current US president. Using tweets fact-checked by an independent third party (Washington Post), we found substantial linguistic differences between factually correct and incorrect tweets and developed a quantitative model based on these differences. Next, we predicted whether out-of-sample tweets were either factually correct or incorrect and achieved a 73% overall accuracy. Our results demonstrate the power of linguistic analysis in real-world deception research when applied at the individual level and provide evidence that factually incorrect tweets are not random mistakes of the sender.

연구 동기 및 목표

• 소셜 미디어 게시물의 언어적 패턴이 개인 수준에서 사실적 정확성을 신뢰성 있게 예측할 수 있는가를 조사하는 것.
• 특히 미국 대통령과 같은 고위성향 개인에 맞춤형 기만 탐지 모델을 개발하는 것.
• 사실적으로 잘못된 트윗이 무작위 오류인지, 체계적인 언어적 패턴을 반영하는지 평가하는 것.
• 정량적 언어 모델이 실제 고위험 상황에서의 사실적 정확성을 예측하는 데 얼마나 잘 작동하는지 평가하는 것.

제안 방법

• 워싱턴포스트의 사실 확인 팀이 사실적으로 정확하거나 잘못된 것으로 레이블링한 미국 대통령의 1,000개 트윗에서 언어적 특징을 추출하였다.
• 감지된 기만의 언어적 징후를 식별하기 위해 지도 학습을 사용하여 이 레이블이 붙은 트윗을 기반으로 개인 맞춤 모델을 훈련시켰다.
• 모델은 대명사 사용, 감성, 문장 구조의 복잡성 등을 포함한 어휘적, 문법적, 의미적 특징에 중점을 두었다.
• 학습에 사용되지 않은 샘플 외 트윗을 대상으로 테스트하여 일반화 성능을 평가하였다.
• 표준 분류 평가 지표를 사용하여 정확도를 측정하였으며, 총 73%의 정확도가 보고되었다.

실험 결과

연구 질문

• RQ1 개인 맞춤형 언어 모델은 고위험 소셜 미디어 커뮤니케이션에서 높은 정확도로 기만을 탐지할 수 있는가?
• RQ2 한 명의 개인이 작성한 사실적으로 정확한 트윗과 잘못된 트윗 간에 일관된 언어적 차이가 존재하는가?
• RQ3 동일한 개인이 작성한 사실적으로 잘못된 트윗이 무작위 오류가 아니라 체계적인 언어적 패턴을 반영하는가?
• RQ4 한 개인의 데이터로 훈련된 모델이 동일한 출처의 새로운 트윗에 얼마나 잘 일반화되는가?

주요 결과

• 개인 맞춤형 언어 모델은 트윗의 사실적 정확성 여부를 예측하는 데 73%의 정확도를 달성하였다.
• 미국 대통령이 작성한 사실적으로 정확한 트윗과 잘못된 트윗 간에 상당한 언어적 차이가 발견되었다.
• 모델은 기만적인 트윗이 무작위 실수일 뿐 아니라 일관된 언어 사용 패턴을 반영한다는 것을 입증하였다.
• 실제 고위험 상황에서 개인 수준의 기만 탐지가 언어 분석을 통해 가능하다는 것을 뒷받침하는 결과를 도출하였다.