[논문 리뷰] Wikidata Vandalism Detection - The Loganberry Vandalism Detector at WSDM Cup 2017

Qi Zhu, Hongwei Ng외 5명|arXiv (Cornell University)|2017. 12. 19.

Natural Language Processing Techniques참고 문헌 4인용 수 4

한 줄 요약

이 논문은 위키데이터의 악성 편집을 탐지하기 위해 언어적, 구조적, 시간적 특징을 활용하는 백업 감지 시스템인 Loganberry를 제시한다. WSDM 컵 2017 도전 대회에서 AUC-ROC 점수 0.91976을 기록하여 지식 기반에 대한 악성 편집을 강력하게 식별하는 데 성공했다.

ABSTRACT

Wikidata is the new, large-scale knowledge base of the Wikimedia Foundation. As it can be edited by anyone, entries frequently get vandalized, leading to the possibility that it might spread of falsified information if such posts are not detected. The WSDM 2017 Wiki Vandalism Detection Challenge requires us to solve this problem by computing a vandalism score denoting the likelihood that a revision corresponds to an act of vandalism and performance is measured using the ROC-AUC obtained on a held-out test set. This paper provides the details of our submission that obtained an ROC-AUC score of 0.91976 in the final evaluation.

연구 동기 및 목표

• 공개 기여가 가능한 위키데이터에서 악성 편집을 탐지하는 과제를 해결하기 위해.
• 정확도가 높은 악성 편집 가능성 점수를 매길 수 있는 강력하고 자동화된 시스템을 개발하기 위해.
• 검증용 테스트 세트의 ROC-AUC를 기준으로 평가되는 WSDM 컵 2017 위키 악성 편집 탐지 도전 대회에 참가하기 위해.
• 대규모 공동 지식 기반에서 악성 편집 탐지에 대해 확장 가능하고 해석 가능한 접근 방식을 기여하기 위해.

제안 방법

• 시스템은 편집 길이, 편집 유형(예: 추가, 삭제) 및 기존 내용과 새 내용 간의 어휘 유사도와 같은 언어적 특징을 추출한다.
• 편집에 포함된 진술 수, 질의어 수, 참조 수 등의 구조적 특징과 엔티티 유형 및 속성 사용의 변화를 포함한다.
• 편집 빈도, 마지막 편집 이후 경과 시간, 시간대와 같은 시간적 특징을 사용하여 의심스러운 편집 패턴을 탐지한다.
• 각 편집의 악성 편집 점수를 예측하기 위해 설계된 기울기 부스팅된 결정 트리 모델을 특징에 기반해 훈련한다.
• 검증 세트에서 AUC 성능을 최대화하기 위해 교차 검증과 하이퍼파라미터 튜닝을 통해 모델을 최적화한다.
• 최종 시스템은 주요 평가 지표로 ROC-AUC를 사용하여 보류된 테스트 세트에서 평가된다.

실험 결과

연구 질문

• RQ1 언어적, 구조적, 시간적 특징는 위키데이터에서 정상 편집과 악성 편집을 구분하는 데 얼마나 효과적인가?
• RQ2 이러한 특징에 기반한 기계 학습 모델은 실제 악성 편집 탐지 상황에서 높은 AUC 성능을 달성할 수 있는가?
• RQ3 다양한 위키데이터 편집에 걸쳐 가장 강력하고 일반화 가능한 탐지 성능을 내는 특징 조합은 무엇인가?
• RQ4 테스트 세트의 다양한 임계값과 데이터 분포에서 모델의 성능은 어떻게 되는가?

주요 결과

• Loganberry 시스템은 WSDM 컵 2017 테스트 세트에서 ROC-AUC 점수 0.91976을 기록하여 상위 제출 결과 중 하나였다.
• 편집 길이와 어휘 유사도와 같은 언어적 특징는 특히 짧고 의미 없는 편집에 대해 악성 편집을 강력하게 예측하는 데 효과적이었다.
• 가짜 진술이나 참조의 추가와 같은 구조적 변화는 악성 편집로 분류될 가능성을 크게 높였다.
• 빠른 연속 편집이나 비피크 시간대의 편집과 같은 시간 패턴은 악성 행동의 강력한 지표였다.
• 기울기 부스팅된 결정 트리 모델은 다양한 편집 유형과 엔티티 카테고리에 걸쳐 강력한 일반화 능력과 내구성을 보였다.
• 다양한 특징 유형의 통합은 단일 모odal리티만 사용하는 모델보다 훨씬 뛰어난 성능을 보였다.