[論文レビュー] How Community Feedback Shapes User Behavior

Justin Cheng, Cristian Danescu-Niculescu-Mizil+1 more|arXiv (Cornell University)|May 6, 2014

Opinion Dynamics and Social Influence参考文献 39被引用数 58

ひとこと要約

本研究は、オンラインニュースコミュニティにおける同僚のフィードバックがユーザー行動にどのように影響するかを分析し、4つの大規模なコメントベースのプラットフォームからのデータを用いる。研究では、否定的フィードバックが投稿頻度を増加させ、コンテンツの質を低下させることを明らかにしたが、肯定的フィードバックには顕著な影響がないことが判明した。これは、操作的条件づけ理論とは対照的であり、コミュニティの健全性に与えるフィードバックの影響に顕著な非対称性が存在することを示している。

ABSTRACT

Social media systems rely on user feedback and rating mechanisms for personalization, ranking, and content filtering. However, when users evaluate content contributed by fellow users (e.g., by liking a post or voting on a comment), these evaluations create complex social feedback effects. This paper investigates how ratings on a piece of content affect its author's future behavior. By studying four large comment-based news communities, we find that negative feedback leads to significant behavioral changes that are detrimental to the community. Not only do authors of negatively-evaluated content contribute more, but also their future posts are of lower quality, and are perceived by the community as such. Moreover, these authors are more likely to subsequently evaluate their fellow users negatively, percolating these effects through the community. In contrast, positive feedback does not carry similar effects, and neither encourages rewarded authors to write more, nor improves the quality of their posts. Interestingly, the authors that receive no feedback are most likely to leave a community. Furthermore, a structural analysis of the voter network reveals that evaluations polarize the community the most when positive and negative votes are equally split.

研究の動機と目的

• オンラインコミュニティにおけるコンテンツ作成者の将来の行動に、ユーザーのフィードバック（アップ／ダウン投票）がどのように影響するかを理解すること。
• コミュニティのフィードバックが、報酬が良い行動を促し、罰が悪い行動を減らすという操作的条件づけ理論に従うかどうかを検証すること。
• フィードバックが作成者の将来の貢献の質と量に与える影響を定量化すること。
• フィードバックの影響を強めるか緩和するかする可能性のある、投票者ネットワークの構造的パターンを調査すること。
• ユーザー行動とコミュニティダイナミクスを形作る上で、肯定的フィードバックと否定的フィードバックの間の非対称性を解明すること。

提案手法

• ベースラインの差を補正するため、類似したフィードバック水準を受けていたがフィードバックの種別（肯定的対比して否定的）が異なる著者を比較するため、傾向スコアマッチングを適用した。
• 人間によるアノテーションデータで訓練された機械学習モデルを用いて、コメントのテクスト的質を推定し、投稿の質を客観的に測定可能とした。
• 4200万件のコメントと1億4000万件の投票を含む4つの大規模なコメントベースのニュースコミュニティを分析し、統計的パワーと一般化可能性を確保した。
• 人気のある投稿の周囲に投票者ネットワークを構築し、フィードバックのクラスタリングや極化パターンを分析した。
• クラウドソーシング実験を通じて、アップ投票の割合がコミュニティフィードバックの代理指標として信頼できるかどうかを検証した。
• 著者の行動変化を時間経過とともに追跡し、投稿頻度、将来の投稿の質、および他のユーザーへのダウン投票の有無を分析した。

実験結果

リサーチクエスチョン

• RQ1 否定的フィードバックを受けた著者は、投稿の量と質の面で、将来の投稿行動にどのように影響を受けるか？
• RQ2 肯定的フィードバックは、コンテンツの質や貢献頻度の面で、著者の行動に与える影響が否定的フィードバックと比べてどのように異なるか？
• RQ3 フィードバックを受けない著者と、フィードバックを受けた著者との間で、行動にどの程度の差が生じるか？
• RQ4 投票者ネットワークの構造、特に投票の極化が、フィードバック効果の拡散にどのように影響するか？
• RQ5 現実のオンラインコミュニティにおいて、フィードバックメカニズムは操作的条件づけ理論の予測とどの程度整合しているか？

主な発見

• 否定的フィードバックを受けた著者は、肯定的フィードバックやフィードバックなしの著者と比べて、将来著しく高い頻度で投稿した。
• 否定的フィードバックを受けた著者の投稿は、人間の判断に基づいて訓練された機械学習モデルで測定したところ、低い質であった。
• 否定的フィードバックは、著者がその後他のユーザーにダウン投票する可能性を顕著に増加させ、これがコミュニティ全体にわたる否定的行動の拡散を示唆している。
• 肯定的フィードバックは、投稿頻度の増加やコンテンツの質の向上をもたらさず、行動に強化効果がないことが示された。
• フィードバックを受けなかった著者は、コミュニティを離脱する可能性が最も高かった。これは、フィードバック、特に否定的フィードバックが、ユーザーの留任を促す要因である可能性を示している。
• 投票者ネットワークの極化は、アップ投票とダウン投票の割合が均等に近い場合に最も顕著であり、バランスの取れたフィードバックが社会的分断を強化する可能性があることを示唆している。