[논문 리뷰] Evaluating a bot detection model on git commit messages

Mehdi Golzadeh, Alexandre Decan외 1명|arXiv (Cornell University)|2021. 03. 22.

Advanced Malware Detection Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 GitHub 풀 리퀘스트 및 이슈 커멘트에서 훈련된 봇 탐지 모델이 커밋 메시지에서의 성능을 평가하며, 커밋 메시지 데이터로 모델을 재훈련하면 정밀도가 0.80으로 향상됨을 보여준다. 저자들은 커밋 메시지 패턴과 통계적 산산각도 특징을 사용하여 봇을 탐지하는 오픈소스 커mand-line 도구인 BoDeGiC를 소개하며, 다양한 사회기술적 분석 과제에 대해 뛰어난 일반화 능력을 보임을 보여준다.

ABSTRACT

Detecting the presence of bots in distributed software development activity is very important in order to prevent bias in large-scale socio-technical empirical analyses. In previous work, we proposed a classification model to detect bots in GitHub repositories based on the pull request and issue comments of GitHub accounts. The current study generalises the approach to git contributors based on their commit messages. We train and evaluate the classification model on a large dataset of 6,922 git contributors. The original model based on pull request and issue comments obtained a precision of 0.77 on this dataset. Retraining the classification model on git commit messages increased the precision to 0.80. As a proof-of-concept, we implemented this model in BoDeGiC, an open source command-line tool to detect bots in git repositories.

연구 동기 및 목표

• PR 및 이슈 커멘트에서 훈련된 봇 탐지 모델이 커밋 메시지로 일반화될 수 있는지 평가하기.
• 커밋 메시지 데이터로 전용으로 재훈련함으로써 봇 탐지 정밀도를 향상시키기.
• 연구자들과 실무자들이 대규모 git 리포지터리에서 봇을 탐지할 수 있도록 실용적인 도구 개발하기.
• 혼합된 인간-봇 행동이 봇 분류에 미치는 영향을 평가하고 활동 수준의 봇 식별 방안을 제안하기.

제안 방법

• 모델은 커밋 메시지에서 유도된 네 가지 특징을 사용함: 고유 패턴 수, 패턴 빈도, 패턴 빈도의 지니 불평등 지수, 총 메시지 수.
• 랜덤 포레스트 분류기가 6,922명의 git 기여자(봇 또는 인간으로 레이블링됨)로 구성된 기준 데이터셋을 기반으로 훈련됨.
• 모델은 먼저 PR/이슈 커멘트에서 훈련된 동일한 특징을 사용하여 원본 데이터셋에서 평가된 후, 커밋 메시지 데이터로 재훈련됨.
• BoDeGiC는 커맨드라인 도구로서 git 리포지터리 분석을 자동화하며, 커밋 메시지를 추출하고 분류 모델을 적용하여 봇 또는 인간 여부를 예측함.
• 도구는 텍스트, JSON, 또는 CSV 형식의 출력을 지원하며, 상세 로깅을 위한 복잡한 모드도 포함함.
• 레이블 신뢰도와 모델 일관성을 평가하기 위해 100개의 무작위 선택 케이스에 대해 수동 검증을 수행함.

실험 결과

연구 질문

• RQ1 PR 및 이슈 커멘트에서 훈련된 봇 탐지 모델이 커밋 메시지로 효과적으로 일반화될 수 있는가?
• RQ2 커밋 메시지 데이터로 전용으로 재훈련하면 봇 탐지 정밀도가 향상되는가?
• RQ3 BIMAN처럼 다중 신호를 사용하는 기존 접근 방식과 비교해 모델의 성능은 어떻게 되는가?
• RQ4 혼합된 인간-봇 행동을 보이는 기여자가 이진 분류(봇 대 비봇)에 얼마나 도전적인가?

주요 결과

• 원본 모델은 PR 및 이슈 커멘트에서 훈련된 후 커밋 메시지에 적용했을 때 정밀도 0.77를 달성함.
• 커밋 메시지 데이터로 재훈련한 결과 정밀도가 0.80으로 향상되어 3% 향상됨.
• 랜덤 포레스트 분류기가 커밋 메시지에서 봇 유사 패턴을 탐지하는 데 다른 모델보다 뛰어난 성능을 보임.
• 100건의 케이스에 대한 수동 검증에서 원본 데이터셋과 19건의 레이블 불일치가 발견되었지만, 모델은 이 19건 모두를 정확히 예측함.
• 봇 유사 및 인간 유사 행동을 동시에 보이는 기여자가 존재함을 고려할 때, 기여자 수준이 아닌 활동 수준에서 봇 식별 기준을 재정의할 필요가 있음.
• BoDeGiC는 모델을 커맨드라인 도구로 성공적으로 구현하였으며, 다양한 출력 형식을 지원하고 대규모 git 리포지터리 분석에서의 실용적 활용 가능함.