[論文レビュー] Effects of algorithmic flagging on fairness: quasi-experimental evidence from Wikipedia

Nathan TeBlunthuis, Benjamin Mako Hill+1 more|arXiv (Cornell University)|Jun 4, 2020

Wikis in Education and Collaboration参考文献 118被引用数 12

ひとこと要約

本研究は、Wikipediaのモデレーションにおけるアルゴリズム的フラグの影響が、ユーザ登録やプロフィールの有無といった社会的信号への依存を減らすことで、公平性に与える影響を調査する。RCFilterのデータを用いた準実験的回帰不連続デザインを用い、アルゴリズム的フラグが編集の元に戻される可能性を高めることが判明した。特に、熟練した編集者からの編集に対して顕著であり、元に戻される率が低下する傾向にあり、これは意図の良い貢献者にとって公平性が向上している可能性を示唆する。ただし、効果は社会的信号の種別によって異なる。

ABSTRACT

Online community moderators often rely on social signals such as whether or not a user has an account or a profile page as clues that users may cause problems. Reliance on these clues can lead to "overprofiling'' bias when moderators focus on these signals but overlook the misbehavior of others. We propose that algorithmic flagging systems deployed to improve the efficiency of moderation work can also make moderation actions more fair to these users by reducing reliance on social signals and making norm violations by everyone else more visible. We analyze moderator behavior in Wikipedia as mediated by RCFilters, a system which displays social signals and algorithmic flags, and estimate the causal effect of being flagged on moderator actions. We show that algorithmically flagged edits are reverted more often, especially those by established editors with positive social signals, and that flagging decreases the likelihood that moderation actions will be undone. Our results suggest that algorithmic flagging systems can lead to increased fairness in some contexts but that the relationship is complex and contingent.

研究の動機と目的

• オンラインコミュニティモデレーションにおける社会的信号（例：登録状況、プロフィールの有無）への過剰依存をアルゴリズム的フラグが軽減するかどうかを評価すること。
• アルゴリズム的フラグが、肯定的な社会的信号を持つユーザーに対するバイアスを軽減することで、より公平なモデレーション結果をもたらすかどうかを評価すること。
• アルゴリズム的フラグが、熟練済みまたは登録済みユーザーの編集に関して、モデレータの行動に及ぼす因果的影響を調査すること。
• 異なる種類の社会的信号（例：登録状況、ユーザーページの有無）が、アルゴリズム的フラグとどのように作用し合い、モデレーションの公平性に影響を与えるかを検討すること。
• 実世界の社会技術的システムにおいて、実験的介入なしに因果推論を実施するための方法論的フレームワークを構築すること。

提案手法

• RCFilterシステムにおける任意の閾値に基づく準実験的回帰不連続デザインを採用した。
• 損害を引き起こす可能性の高い編集を特定するために、ORESが生成した機械学習スコアを活用した。
• フラグの閾値を境目に、その上と下の編集におけるモデレータの行動（例：元に戻し、元に戻し操作）を分析した。
• 登録済み／未登録、ユーザーページの有無など、異なる社会的信号を持つユーザーのモデレーション結果を比較した。
• アルゴリズム的フラグがモデレーション行動に与える影響を推定するために、因果推論技術を適用した。
• 再現性を確保するため、ハーバード・データバーツから提供されたレプリケーションデータセット（ORESスコア、閾値、編集履歴データを含む）を用いた。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的フラグは、登録状況やユーザーページの有無といった社会的信号への依存を減らすことで、過剰なプロファイリングを軽減するか？
• RQ2 アルゴリズム的フラグは、熟練編集者に対する編集が元に戻される可能性にどのように影響するか？
• RQ3 フラグが、モデレーション行動が元に戻される可能性を低下させることで、意思決定の安定性が向上するか？
• RQ4 異なる種類の社会的信号が、アルゴリズム的フラグと相互作用し、モデレーションの公平性にどのように影響を与えるか？
• RQ5 フラグの閾値が、モデレーション結果に恣意的な影響を及ぼす程度はどの程度か？

主な発見

• アルゴリズム的フラグが付与された編集は、特に肯定的な社会的信号を持つ登録済み編集者からのもので、元に戻される可能性が顕著に高まった。
• 熟練編集者によるフラグ付き編集は、フラグなし編集よりも元に戻される頻度が高かった。これは、社会的信号への過剰依存が軽減されたことを示唆する。
• フラグ付き編集に対するモデレーション行動は、元に戻される可能性が低く、意思決定の安定性が向上し、論争が減少したことを示している。
• フラグの公平性への影響は社会的信号の種別によって異なり、未登録ユーザーに対しては過剰プロファイリングが減少したが、ユーザーページのないユーザーに対しては逆に増加した。
• フラグシステムにおける任意の閾値が、閾値をわずかに上回る編集に対して不釣り合いな注目を集める結果となり、モデレーション結果に恣意的要因が生じた。
• 結果から、アルゴリズム的フラグは一部の文脈では公平性を向上させうるが、社会的信号の種別によってはバイアスを悪化させる可能性もある。