[논문 리뷰] Operationalizing Conflict and Cooperation between Automated Software Agents in Wikipedia: A Replication and Expansion of 'Even Good Bots Fight'

R. Stuart Geiger, Aaron Halfaker|arXiv (Cornell University)|2018. 10. 16.

Wikis in Education and Collaboration참고 문헌 59인용 수 7

한 줄 요약

이 논문은 PLoS ONE 저널의 논문 'Even Good Bots Fight'를 재현하고 확장하며, 양적 지표와 질적 트레이스 민족학적 분석을 융합한 혼합 방법 접근법을 통해 위키백과의 봇-봇 상호작용을 재검토한다. 연구 결과, '갈등'으로 분류된 대부분의 상호작용은 실제로는 일상적이고 협력적이거나 생산적인 성격을 띠며, 이는 이전에 광범위한 봇 간 갈등이 존재한다는 주장에 도전하는 바이다. 또한 편집 요약 패턴을 활용한 새로운 운영 정의와 계산 기반의 분류 방법을 제안한다.

ABSTRACT

This paper replicates, extends, and refutes conclusions made in a study published in PLoS ONE ("Even Good Bots Fight"), which claimed to identify substantial levels of conflict between automated software agents (or bots) in Wikipedia using purely quantitative methods. By applying an integrative mixed-methods approach drawing on trace ethnography, we place these alleged cases of bot-bot conflict into context and arrive at a better understanding of these interactions. We found that overwhelmingly, the interactions previously characterized as problematic instances of conflict are typically better characterized as routine, productive, even collaborative work. These results challenge past work and show the importance of qualitative/quantitative collaboration. In our paper, we present quantitative metrics and qualitative heuristics for operationalizing bot-bot conflict. We give thick descriptions of kinds of events that present as bot-bot reverts, helping distinguish conflict from non-conflict. We computationally classify these kinds of events through patterns in edit summaries. By interpreting found/trace data in the socio-technical contexts in which people give that data meaning, we gain more from quantitative measurements, drawing deeper understandings about the governance of algorithmic systems in Wikipedia. We have also released our data collection, processing, and analysis pipeline, to facilitate computational reproducibility of our findings and to help other researchers interested in conducting similar mixed-method scholarship in other platforms and contexts.

연구 동기 및 목표

• 위키백과에서 봇-봇 갈등이 상당히 심각하다는 주장을 제기한 PLoS ONE 논문을 비판적으로 평가하고 재현하기.
• 양적 방법만으로 봇 갈등을 식별하는 데서 비롯하는 한계를 극복하고, 질적이고 사회기술적 맥락을 통합함으로써 그 유효성을 도전하기.
• 실제 편집 행동에 기반한 봇-봇 갈등과 협력의 운영 정의를 수립하기.
• 편집 요약어 패턴과 트레이스 데이터를 활용해 봇 상호작용을 분류하는 계산적으로 재현 가능한 파이프라인을 구축하기.
• 온라인 플랫폼에서 알고리즘 거버넌스를 이해하기 위해 양적 분석과 질적 해석을 융합할 필요성을 입증하기.

제안 방법

• 위키백과 편집 이력의 질적 트레이스 민족학적 분석과 양적 분석을 융합한 혼합 방법 설계를 적용하기.
• 언어적 및 행동 패턴 기반으로 봇 상호작용 유형을 식별하기 위해 봇 편집 요약어의 계산 기반 분류 수행하기.
• 위키백과의 기록 변경 이력 데이터를 분석하여 봇-봇 상호 간의 복구 및 편집 행위를 식별하고 맥락화하기.
• 사회기술적 맥락 내에서 수량적으로 탐지된 '갈등'을 재해석하기 위해 질적 히وري스틱 적용하기.
• 계산적으로 재현 가능한 데이터 수집, 처리 및 분석 파이프라인을 개발하고 공개하기.
• 의미와 의도가 봇 편집 요약어와 행동에 어떻게 내재되어 있는지 해석하기 위해 사회기술적 프레임워크 활용하기.

실험 결과

연구 질문

• RQ1 위키백과에서 봇-봇 상호작용의 수량적 측정치가 갈등을 정확히 반영하는 정도는 어느 정도이며, 일상적 또는 협력적 작업과의 차이가 얼마나 되는가?
• RQ2 편집 요약어와 기록 변경 이력의 질적 맥락은 봇 상호작용 지표의 해석을 어떻게 향상시킬 수 있는가?
• RQ3 순수한 수량적 방법으로 인해 체계적으로 잘못 분류되는 봇 상호작용의 유형은 무엇인가?
• RQ4 편집 요약어는 어떻게 사용되어 봇 상호작용을 갈등, 협력, 중립의 카테고리로 계산적으로 분류할 수 있는가?
• RQ5 협동형 온라인 시스템에서 알고리즘 거버넌스를 연구하기 위해 필요한 방법론적 개선 사항은 무엇인가?

주요 결과

• 이전에 '갈등'으로 분류된 대부분의 봇-봇 상호작용은 적대적이지 않으며, 오히려 일상적이고 생산적이거나 협력적인 성격을 띠었다.
• 수량적 지표만으로는 맥락, 의도, 편집 요약어의 의미론을 고려하지 못해 봇 갈등을 과대평가한다.
• 편집 요약어에는 고도의 해석 정밀도를 유지하면서도 봇 상호작용을 명확한 행동 카테고리로 분류할 수 있는 신뢰할 수 있는 패턴이 포함되어 있다.
• 본 연구의 혼합 방법 접근법은 많은 봇 복구 행위가 갈등이 아닌 공동의 유지보수 또는 정리 작업의 일부임을 드러냈다.
• 저자들은 수량적 지표와 질적 히وري스틱을 조합하여 갈등과 협력을 운영적으로 정의함으로써 향후 연구를 위한 재현 가능한 프레임워크를 제공하였다.
• 저자들은 향후 협동형 온라인 커뮤니티 내 알고리즘 시스템에 대한 혼합 방법 연구를 지원하기 위해 완전히 재현 가능한 데이터 및 분석 파이프라인을 공개하였다.