[논문 리뷰] Authorship Verification based on Compression-Models

Oren Halvani, Christian Winter외 1명|arXiv (Cornell University)|2017. 06. 01.

Authorship Attribution and Profiling참고 문헌 8인용 수 13

한 줄 요약

이 논문은 기계 학습, 자연어 처리(NLP), 또는 특징 공학에 의존하지 않고도 경쟁력 있는 성능을 달성하는 압축 모델 기반의 새로운 경량 저자 확인(AV) 방법을 제안한다. 압축 알고리즘, 이질성 측도(CBC), 및 임계값을 사용함으로써, 이 방법은 다양한 AV 벤치마크, 특히 주제 간 및 짧은 텍스트 케이스에서 빠른 런타임과 뛰어난 성능을 달성한다.

ABSTRACT

Compression models represent an interesting approach for different classification tasks and have been used widely across many research fields. We adapt compression models to the field of authorship verification (AV), a branch of digital text forensics. The task in AV is to verify if a questioned document and a reference document of a known author are written by the same person. We propose an intrinsic AV method, which yields competitive results compared to a number of current state-of-the-art approaches, based on support vector machines or neural networks. However, in contrast to these approaches our method does not make use of machine learning algorithms, natural language processing techniques, feature engineering, hyperparameter optimization or external documents (a common strategy to transform AV from a one-class to a multi-class classification problem). Instead, the only three key components of our method are a compressing algorithm, a dissimilarity measure and a threshold, needed to accept or reject the authorship of the questioned document. Due to its compactness, our method performs very fast and can be reimplemented with minimal effort. In addition, the method can handle complicated AV cases where both, the questioned and the reference document, are not related to each other in terms of topic or genre. We evaluated our approach against publicly available datasets, which were used in three international AV competitions. Furthermore, we constructed our own corpora, where we evaluated our method against state-of-the-art approaches and achieved, in both cases, promising results.

연구 동기 및 목표

• 복잡한 기계 학습 및 자연어 처리 파ip라인을 피하는 단순하면서도 효과적인 저자 확인 방법을 개발하기 위해.
• 기존 방법으로는 어려운 주제 간 또는 장르 간 문서 및 짧은 텍스트와 같은 도전적인 AV 케이스를 다루기 위해.
• 최소한의 구현 오버헤드로 빠르고 효율적이며 쉽게 재현 가능한 AV 접근법을 제공하기 위해.
• 공개 AV 데이터셋과 새로 구축한 코퍼스에서 방법을 평가하여 최신 기술 수준의 접근법에 비해 강건성과 경쟁력을 입증하기 위해.

제안 방법

• 기준 문서와 질문된 문서를 압축 알고리즘(예: PPMd)을 사용해 압축한 후, 압축 비율 기반의 이질성 측도를 계산한다.
• 핵심 이질성 측도로 CBC(압축 기반 거리) 측도를 사용하며, 이는 병합된 문서의 압축 길이를 개별 문서의 압축 길이 합과 비교한다.
• 질의 문서가 기준 저자 스타일과 일치하는지 분류하기 위해 경험적으로 결정된 임계값을 설정한다.
• 이 방법은 본질적으로 레이지 학습이며, 모델 학습이나 특징 추출이 필요 없으며, 오직 압축과 거리 계산에 의존한다.
• 이 방법은 경량이자 빠르게 설계되었으며, 표준 하드웨어에서 500개의 케이스 평가에 몇 초가면 충분하다.
• 압축이 스타일적 패턴을 포착하므로, 기준 문서와 질문된 문서 간 주제나 장르 불일치에 대해 강건하다.

실험 결과

연구 질문

• RQ1 기계 학습이나 자연어 처리 기법을 사용하지 않고도 압축 기반 방법이 경쟁력 있는 저자 확인 성능을 달성할 수 있는가?
• RQ2 주제 간 또는 장르 간 문서 및 짧은 텍스트를 포함한 도전적인 AV 케이스에서 이 방법의 성능은 어떠한가?
• RQ3 다양한 압축 알고리즘과 이질성 측도가 확인 정확도에 미치는 영향은 무엇인가?
• RQ4 다양한 벤치마크에서 최신 기술 수준의 AV 접근법과 비교해 이 방법의 런타임과 정확도는 어떠한가?
• RQ5 이 방법은 주제 불일치 및 텍스트 길이 제한이 있는 다양한 코퍼스에 일반화될 수 있는가?

주요 결과

• 모든 코퍼스에서 검증 정확도 측면에서 PPMd 압축기구가 테스트된 다른 모든 압축기구보다 뛰어났다.
• CBC 이질성 측도는 테스트된 모든 압축기구 및 코퍼스에서 가장 높고 안정된 결과를 도출했다.
• 제안된 방법은 다섯 개의 PAN 평가 코퍼스 중 네 개에서 최상위 성능을 기록했으며, 최고 성능을 보이는 접근법 중 하나였다.
• 새로 구축한 코퍼스에서 이 방법은 최신 기술 수준의 방법을 능가하거나 동등하게 성능을 냈으며, 특히 주제 간 및 짧은 텍스트 시나리오에서 두각을 나타냈다.
• 표준 랩탑에서 500개의 저자 확인 케이스를 몇 초 만에 처리했으며, 평가된 AV 방법 중 가장 빠른 편에 속했다.
• 이 방법은 강력한 일반화 능력을 보였으며, AUC 값이 여러 데이터셋에서 0.85 이상인 도전적인 코퍼스 {{\mathcal{C}}_{\textrm{PAN14es}}}_{\textrm{Eval}} 및 {{\mathcal{C}}_{\textrm{Reddit}}}_{\textrm{Eval}}에서도 높은 AUC 및 c@1 점수를 기록했다.