[논문 리뷰] VeriDark Agora Authorship Verification Dataset

Andrei Manolache, Florin Brad외 3명|arXiv (Cornell University)|2022. 07. 07.

Authorship Attribution and Profiling인용 수 13

한 줄 요약

VeriDark는 폐쇄된 마켓플레이스(아고라, 실크로드1)와 다크웹 관련 레딧 포럼(DarkReddit+)에서 유래한 세 개의 데이터셋과 함께, 10명의 저자 식별 작업을 포함한 다크웹에서의 저작자 확인을 위한 대규모 벤치마크를 소개한다. 이 연구는 BERT 기반 모델을 이러한 데이터셋에 대해 평가하여 도메인 이탈이 성능에 상당한 영향을 미치며, 전문 용어나 문장 부호와 같은 언어적 특징이 잠재적인 잘못된 신호가 될 수 있음을 밝혔다.

ABSTRACT

<pre>VeriDark (Authorship Verification in the DarkNet) is a benchmark for evaluating authorship analysis methods in a cybersecurity context, by introducing datasets gathered from the DarkNet marketplace forums or from Darknet-related discussions on Reddit. This benchmark contains three datasets for authorship verification and one dataset for authorship identification.</pre>

연구 동기 및 목표

• 사이버보안 맥락에서, 특히 다크웹에서의 저작자 확인을 위한 대규모, 도메인 특화된 데이터셋의 부족을 해결하기 위해.
• 문학적 코퍼스가 아닌 실제 사이버 범죄 관련 텍스트 데이터로 훈련된 강력한 NLP 모델의 개발과 평가를 가능하게 하기 위해.
• 일반적인 문학적 코퍼스(예: PAN2020)에서 훈련된 모델과 다크웹 데이터로 피지테이닝된 모델 간의 성능 격차를 평가하기 위해.
• 윤리적 보호 조치를 포함한 공개 벤치마크를 제공하여 저작자 확인 및 식별 분야의 책임감 있는 연구를 지원하기 위해.
• 문장 부호, 명시적 개체, 전문 용어와 같은 언어적 특징이 저작자 확인에서 잘못된 신호로 작용할 수 있는지 분석하기 위해.

제안 방법

• 세 개의 소스에서 텍스트 데이터를 수집: /r/darknetmarkets (레딧), 아고라 (다크웹 마켓플레이스 포럼), 실크로드1 (폐쇄된 다크웹 마켓플레이스 포럼).
• 세 개의 저작자 확인 데이터셋(Agora, SilkRoad1, DarkReddit+)과 상위 10명의 활동 사용자로부터 유래한 10방향 저작자 식별 데이터셋을 구축.
• 개인식별 정보를 제거하고 민감한 데이터(예: PGP 키, 메시지)를 삭제하여 개인정보 유출 위험과 데이터 泄露 위험을 최소화.
• VeriDark 데이터셋에 기반한 BERT 기반 모델을 훈련하고, PAN2020 데이터셋으로 사전 훈련된 모델과 성능을 비교.
• 윤리적 사용 공개 및 소속 확인을 요구하는 액세스 제어를 통한 공개 랭킹리스트를 구현.
• 라벨 오류나 중복 항목과 같은 데이터 품질 문제를 신고하기 위한 연락처 양식을 제공하여 데이터셋의 무결성을 확보.

실험 결과

연구 질문

• RQ1 최신 저작자 확인 모델이 다크웹 텍스트 데이터로 피지테이닝되었을 때와 문학적 코퍼스로 훈련된 경우의 성능은 어떻게 다를까?
• RQ2 다크웹 커뮤니케이션에서 저작자를 예측하는 데 기여할 수 있는 언어적 특징(예: 문장 부호, 전문 용어, 이모티콘)은 무엇이며, 잘못된 신호로 작용할 수 있는가?
• RQ3 문학 텍스트와 다크웹 포럼 간의 도메인 이탈이 기존 저작자 확인 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 다크웹 토론 데이터로 훈련된 10방향 저작자 식별 모델이 다른 레딧 서브레딧으로 일반화될 수 있는가? 이는 교차 도메인 강건성을 의미하는가?
• RQ5 감정적 또는 공격적인 내용을 포함할 수 있는 형량 NLP 데이터셋을 윤리적으로 공개하기 위해 필요한 보호 조치는 무엇인가?

주요 결과

• VeriDark 벤치마크는 아고라, 실크로드1, DarkReddit+ 세 개의 대규모 저작자 확인 데이터셋을 포함하며, 아고라와 실크로드1는 유사한 종류의 가장 큰 공개 데이터셋이다.
• VeriDark 데이터셋에 기반한 BERT 기반 모델은 PAN2020으로 사전 훈련된 모델보다 성능이 뛰어나, 저작자 확인에서 도메인 이탈의 부정적 영향을 입증한다.
• VeriDark 데이터셋의 평균 텍스트 길이는 PAN2020보다 현저히 짧지만, 더 많은 예제를 포함하고 있어 자원이 제한된 환경이나 소수의 예제 학습 시나리오에 적합하다.
• 정성적 분석을 통해 문장 부호, 명시적 개체, 도메인 전문 용어와 같은 특징이 동일 저자에 속한 텍스트 간에 빈번히 공유됨을 확인하여 잠재적인 잘못된 상관관계를 시사한다.
• 저자들은 데이터셋 내에서 폭력적이고 불쾌한 언어가 널리 퍼져 있음을 확인하여 윤리적 액세스 제어 및 데이터 사용 정책의 필요성을 강화한다.
• GitHub와 액세스 제한이 있는 보안 랭킹리스트 통한 데이터셋의 공개는 연구의 유용성과 윤리적 책임을 균형 있게 유지한다.