[논문 리뷰] The Mafiascum Dataset: A Large Text Corpus for Deception Detection

Bob de Ruiter, George Kachergis|arXiv (Cornell University)|2018. 11. 19.

Deception detection and forensic psychology참고 문헌 18인용 수 8

한 줄 요약

이 논문은 700개 이상의 온라인 마피아 게임에서 유저들이 위장하거나 비위장 역할로 무작위로 배정된 9,000개 이상의 포럼 기반 텍스트 문서로 구성된 대규모 공개 코퍼스인 Mafiascum 데이터셋을 소개한다. 수작업으로 구성한 언어적 특징과 FastText 단어 임베딩을 사용하여, 로지스틱 회귀 모델이 장문(5,000단어 이상)에서 AUROC 0.68과 평균 정밀도 0.39를 기록하며 우연의 수준을 크게 초월했으며, 이는 탐지 연구에 있어 데이터셋의 유용성을 입증한다.

ABSTRACT

Detecting deception in natural language has a wide variety of applications, but because of its hidden nature there are currently no public, large-scale sources of labeled deceptive text. This work introduces the Mafiascum dataset [1], a collection of over 700 games of Mafia, in which players are randomly assigned either deceptive or non-deceptive roles and then interact via forum postings. Over 9000 documents were compiled from the dataset, which each contained all messages written by a single player in a single game. This corpus was used to construct a set of hand-picked linguistic features based on prior deception research, as well as a set of average word vectors enriched with subword information. A logistic regression classifier fit on a combination of these feature sets achieved an average precision of 0.39 (chance = 0.26) and an AUROC of 0.68 on 5000+ word documents. On 50+ word documents, an average precision of 0.29 (chance = 0.23) and an AUROC of 0.59 was achieved. [1] https://bitbucket.org/bopjesvla/thesis/src

연구 동기 및 목표

• 자연어에서 탐지하기 위한 대규모 공개 레이블 데이터셋의 부족을 해결하기 위해.
• 위장이 자연스럽게 발생하고 역할 배정을 통해 체계적으로 레이블이 부여된 현실적이고 상호작용 가능한 환경을 조성하기 위해.
• 기존의 언어적 신호와 분산된 단어 표현 방식이 다양한 장문 대화형 텍스트에서 위장 행위를 탐지하는 데 얼마나 효과적인지 평가하기 위해.
• 다양한 위장 맥락과 의사소통 방식 간의 일반화 연구를 지원하는 벤치마크 데이터셋을 제공하기 위해.
• 재현 가능하고 대규모이며 윤리적으로 수집된 데이터셋을 공개함으로써 탐지 연구의 개방 과학을 촉진하기 위해.

제안 방법

• Mafiascum 데이터셋은 포럼에서 운영된 700개 이상의 온라인 마피아 게임에서 수집되었으며, 유저들은 위장(마피아) 또는 진실(마을사람) 역할로 무작위로 배정되었다.
• 각 문서는 한 게임에서 한 명의 유저가 작성한 모든 메시지로 구성되며, 평균 길이가 3,940단어인 9,000개 이상의 문서가 생성되었다.
• 이전 메타분석 결과(Hauch 등, 2015)를 바탕으로 14개의 수작업으로 선별된 언어적 특징(예: 대명사 비율, 否정어 사용, 문장 길이, 감각어 사용 등)이 추출되었다.
• 서브워드 정보를 포함한 FastText 단어 임베딩이 사용되어, 형태적 및 의미적 패턴을 포착하였다.
• 언어적 특징과 단어 임베딩의 조합을 기반으로 로지스틱 회귀 분류기가 훈련되었으며, 문서 길이 세그먼트에 따라 AUROC와 평균 정밀도로 성능을 평가하였다.
• 교차 검증이 적용되었으며, 유저 교체가 있었던 게임의 문서를 제외하여 잠재적 혼동 요인의 영향을 평가함으로써 안정성을 테스트하였다.

실험 결과

연구 질문

• RQ1 상호작용적인 온라인 게임에서 자연적으로 발생하는 위장 및 진실 텍스트의 대규모 공개 데이터셋을 구축할 수 있는가?
• RQ2 기존에 알려진 위장 탐지 언어적 신호가 통제된 게임 환경에서 장문의 상호작용적 역할 기반 대화에 일반화되는가?
• RQ3 서브워드 정보를 포함한 단어 임베딩은 수작업 언어적 특징에 비해 위장 탐지에서 얼마나 잘 성능을 내는가?
• RQ4 메시지 빈도 및 길이와 같은 맥락적 및 커뮤니케이션 특화 특징이 이 환경에서 위장 행위를 얼마나 잘 예측하는가?
• RQ5 언어적 특징과 임베딩 특징의 조합을 기반으로 훈련된 선형 모델이 다양한 문서 길이에서 우연의 수준을 뛰어넘는 성능을 달성할 수 있는가?

주요 결과

• 수작업 언어적 특징과 FastText 임베딩의 조합을 기반으로 훈련된 로지스틱 회귀 모델은 5,000단어 이상의 문서에서 AUROC 0.68과 평균 정밀도 0.39를 기록하였으며, 우연 수준인 0.26를 크게 상회하였다.
• 짧은 문서(50단어 이상)에서는 AUROC 0.59와 평균 정밀도 0.29를 기록하였으며, 여전히 우연 수준인 0.23을 초월하여 짧은 텍스트에서도 탐지 가능한 신호가 존재함을 시사하였다.
• 메타분석에서 유의미한 것으로 나타난 6개의 언어적 특징 중 두 가지(문장 길이와 제3인칭 대명사 비율)만 예상된 방향의 영향을 보였으며, 이는 언어적 신호의 효과가 맥락에 따라 달라질 수 있음을 시사한다.
• 위장 유저는 진실 유저보다 더 긴 개별 메시지를 작성했지만, 빈도는 낮았으며, 이는 전략적 자기 모니터링 및 주의 회피 전략을 취하고 있음을 나타낸다.
• 유저 교체가 있었던 게임의 문서를 제외한 경우에도 모델의 성능은 안정적으로 유지되어, 데이터셋이 소규모 혼동 요인에 대해 강건함을 입증하였다.
• 이 연구는 고립된 언어적 특징에 기반한 선형 모델의 한계를 부각하며, 다양한 위장 맥락 간 일반화를 위해서는 맥락-단어 상호작용을 포착하는 모델이 필요할 수 있음을 시사한다.