[논문 리뷰] Authorship Verification - An Approach based on Random Forest

Promita Maitra, Souvick Ghosh외 1명|arXiv (Cornell University)|2016. 07. 29.

Authorship Attribution and Profiling참고 문헌 7인용 수 18

한 줄 요약

이 논문은 교차 장르 및 교차 주제 상황에서 알려진 저자와 알려지지 않은 저자를 구분하기 위해 단어 기반 및 스타일 기반 특징을 사용하는 랜덤 포레스트 기반 접근법을 제안한다. PAN 2015 벤치마크에서 평가된 결과, 앙상블 학습을 활용하여 높은 정확도로 저작권을 분류함으로써 경쟁력 있는 성능을 달성하였으며, 특징 공학 및 트리 기반 분류가 저작권 확인 작업에서 효과적임을 입증한다.

ABSTRACT

Authorship attribution, being an important problem in many areas in-cluding information retrieval, computational linguistics, law and journalism etc., has been identified as a subject of increasingly research interest in the re-cent years. In case of Author Identification task in PAN at CLEF 2015, the main focus was given on cross-genre and cross-topic author verification tasks. We have used several word-based and style-based features to identify the dif-ferences between the known and unknown problems of one given set and label the unknown ones accordingly using a Random Forest based classifier.

연구 동기 및 목표

• 디지털 포렌식스 및 컴퓨퓨터 언어학에서 흔한 교차 장르 및 교차 주제 설정에서 저작권 확인 과제를 해결하기 위해.
• 언어학적 및 스타일 기반 특징을 사용하여 알려진 저자와 알려지지 않은 저자를 구별할 수 있는 강력한 분류 시스템을 개발하기 위해.
• PAN 2015 저작권 확인 작업에서 랜덤 포레스트 분류기의 성능을 평가하여 실제 작가 스타일의 다양성에 기인한 변동성을 고려하기 위해.
• 다양한 작가 샘플을 다룰 수 있는 앙상블 방법의 효과성을 입증하여 저작권 할당 분야에 기여하기 위해.

제안 방법

• 저자들은 텍스트 샘플에서 어휘, 문법, 문장 복잡도 측정치를 포함한 포괄적인 단어 기반 및 스타일 기반 특징을 추출한다.
• 특징은 알려진 저자와 알려지지 않은 저자 간의 어휘 사용, 문장 구조, 스타일 패턴의 차이를 포착하도록 공학된다.
• 검증된 저자 신원과 미검증 저자 신원 간의 결정 경계를 학습하기 위해 추출된 특징으로 랜덤 포레스트 분류기를 훈련시킨다.
• 모델은 배깅과 특징 무작위성을 사용하여 과적합을 줄이고 다양한 텍스트 장르와 주제에 걸쳐 일반화 능력을 향상시킨다.
• 이 방법은 교차 장르 및 교차 주제 테스트 시나리오를 포함하는 PAN 2015 저작권 확인 데이터셋에서 평가된다.
• 정확도 및 F1 스코어와 같은 표준 메트릭을 사용하여 성능을 측정하며, 결과는 CLEF 2015 워크숍의 맥락에서 보고된다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 분류기는 언어학적 및 스타일 기반 특징을 사용하여 다양한 장르와 주제 간에 저작권을 효과적으로 확인할 수 있는가?
• RQ2 교차 장르 설정에서 단어 기반 특징과 스타일 기반 특징 중 어느 것이 알려진 저자와 알려지지 않은 저자를 더 잘 구별할 수 있는가?
• RQ3 랜덤 포레스트의 앙상블 성격이 단일 모델 접근법에 비해 확인 정확도를 얼마나 향상시키는가?
• RQ4 특징의 다양성이 저작권 확인 시스템의 강건성 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• 랜덤 포레스트 분류기는 PAN 2015 저작권 확인 작업에서 경쟁력 있는 성능을 기록하여 다양한 텍스트 장르와 주제에 걸쳐 강력한 일반화 능력을 보였다.
• 단어 기반 및 스타일 기반 특징을 통합한 결과, 각각을 별도로 사용한 경우에 비해 분류 정확도가 크게 향상되었다.
• 랜덤 포레스트의 앙상블 성격 덕분에 자원이 적거나 도메인이 다른 상황에서도 과적합을 줄이는 데 기여하였다.
• 이 방법은 교차 주제 확인에서 강건성을 보였으며, 이는 스타일 패턴이 안정적이어서 신뢰할 수 있는 저자 식별을 지원할 수 있음을 시사한다.