[論文レビュー] Operationalizing Conflict and Cooperation between Automated Software Agents in Wikipedia: A Replication and Expansion of 'Even Good Bots Fight'

R. Stuart Geiger, Aaron Halfaker|arXiv (Cornell University)|Oct 16, 2018

Wikis in Education and Collaboration参考文献 59被引用数 7

ひとこと要約

本論文は、PLoS ONEの論文『Even Good Bots Fight』を再現・拡張し、定量的指標と定性的なトレースエトノグラフィーを組み合わせた混合研究手法を用いて、ウィキペディアにおけるボット同士の相互作用を再検討した。その結果、『対立』とラベル付けされた大多数の相互作用は、実際には日常的で協働的あるいは生産的なものであることが判明し、以前の広範なボット対立の主張に疑問を呈するとともに、編集要約のパターンを用いた新しい運用定義と計算分類手法を提案した。

ABSTRACT

This paper replicates, extends, and refutes conclusions made in a study published in PLoS ONE ("Even Good Bots Fight"), which claimed to identify substantial levels of conflict between automated software agents (or bots) in Wikipedia using purely quantitative methods. By applying an integrative mixed-methods approach drawing on trace ethnography, we place these alleged cases of bot-bot conflict into context and arrive at a better understanding of these interactions. We found that overwhelmingly, the interactions previously characterized as problematic instances of conflict are typically better characterized as routine, productive, even collaborative work. These results challenge past work and show the importance of qualitative/quantitative collaboration. In our paper, we present quantitative metrics and qualitative heuristics for operationalizing bot-bot conflict. We give thick descriptions of kinds of events that present as bot-bot reverts, helping distinguish conflict from non-conflict. We computationally classify these kinds of events through patterns in edit summaries. By interpreting found/trace data in the socio-technical contexts in which people give that data meaning, we gain more from quantitative measurements, drawing deeper understandings about the governance of algorithmic systems in Wikipedia. We have also released our data collection, processing, and analysis pipeline, to facilitate computational reproducibility of our findings and to help other researchers interested in conducting similar mixed-method scholarship in other platforms and contexts.

研究の動機と目的

• ウィキペディアにおけるボット同士の対立が顕著であると主張するPLoS ONEの研究を批判的に評価し、再現すること。
• 定量的手法のみに依存するボット対立の特定の妥当性を、定性的な社会技術的文脈の統合によって疑問視すること。
• 現実の編集行動に基づいた、ボット同士の対立および協働の運用定義を策定すること。
• 編集要約とトレースデータを用いた計算可能な再現性のあるパイプラインを構築し、ボット相互作用を分類すること。
• オンラインプラットフォームにおけるアルゴリズム的ガバナンスを理解するには、定量的分析と定性的解釈の統合が不可欠であることを示すこと。

提案手法

• ウィキペディアの編集履歴の定性的なトレースエトノグラフィーと定量的分析を統合した混合研究デザインを採用する。
• 言語的および行動的パターンに基づき、ボットの編集要約の計算分類を用いて、ボット相互作用の種別を区別する。
• ウィキペディアのリビジョン履歴からのトレースデータを分析し、ボット同士のリバートや編集を特定・文脈化する。
• 社会技術的文脈内での定性的ヒューリスティクスを適用し、定量的に検出された『対立』を再解釈する。
• 計算再現性を確保するため、完全なデータ収集・処理・分析パイプラインを開発・公開する。
• 社会技術的フレームワークを活用し、ボットの編集要約と行動に埋め込まれた意味や意図を解釈する。

実験結果

リサーチクエスチョン

• RQ1 ウィキペディアにおけるボット同士の相互作用の定量的指標は、対立の程度をどれほど正確に反映しているのか。対立以外の日常的・協働的作業と比較して。
• RQ2 編集要約やリビジョン履歴からの定性的な文脈は、ボット相互作用指標の解釈をどのように改善できるか。
• RQ3 純粋に定量的手法によって、どのような種類のボット相互作用が誤って『対立』と分類されているのか。
• RQ4 編集要約をどのようにして、計算的にボット相互作用を『対立』『協働』『中立』のカテゴリに分類できるか。
• RQ5 協働的オンラインシステムにおけるアルゴリズム的ガバナンスを研究するには、どのような方法論的改善が必要か。

主な発見

• 以前に『対立』とラベル付けされたボット同士の相互作用の大部分は、敵対的ではなく、日常的で生産的あるいは協働的性質のものであった。
• 定量的指標だけでは、文脈、意図、編集要約の意味論を考慮できないため、ボット対立を過大評価してしまう。
• 編集要約には、高い解釈的整合性を保ちつつ、ボット相互作用を異なる行動的カテゴリに計算分類できる信頼性のあるパターンが含まれている。
• 本研究の混合研究手法により、多くのボットリバートが、紛争ではなく、一貫したメンテナンスやクリーニング作業の一環であることが明らかになった。
• 著者らは、定量的指標と定性的ヒューリスティクスの組み合わせにより、対立と協働の運用定義を成功裏に実装し、今後の研究に再現可能なフレームワークを提供した。
• 著者らは、オンラインコミュニティにおけるアルゴリズム的システムに関する今後の混合研究を支援する、完全に再現可能なデータおよび分析パイプラインを公開した。