[論文レビュー] Who is Authoritative? Understanding Reputation Mechanisms in Quora

Sharoda A. Paul, Lichan Hong+1 more|arXiv (Cornell University)|Apr 17, 2012

Expert finding and Q&A systems参考文献 16被引用数 64

ひとこと要約

本研究は、60のトピックおよび3,917人のユーザーの行動を分析し、インタビューを実施することで、Quoraにおけるレピュテーションおよび権威メカニズムを調査した。研究では、ユーザーが主な出典を権威あるものと認識し、過去の貢献に基づいてレピュテーションを評価していることが判明した。また、社会的投票はコンテンツ発見を支援するが、優先的付着（preferential attachment）の影響を受けることが明らかになった。これにより、高品質なコンテンツを促進するためには、投票と知能的なランク付けアルゴリズムを組み合わせる必要があることが示された。

ABSTRACT

As social Q&A sites gain popularity, it is important to understand how users judge the authoritativeness of users and content, build reputation, and identify and promote high quality content. We conducted a study of emerging social Q&A site Quora. First, we describe user activity on Quora by analyzing data across 60 question topics and 3917 users. Then we provide a rich understanding of issues of authority, reputation, and quality from in-depth interviews with ten Quora users. Our results show that primary sources of information on Quora are judged authoritative. Also, users judge the reputation of other users based on their past contributions. Social voting helps users identify and promote good content but is prone to preferential attachment. Combining social voting with sophisticated algorithms for ranking content might enable users to better judge others' reputation and promote high quality content.

研究の動機と目的

• Quoraのユーザーが他のユーザーおよびコンテンツの権威やレピュテーションをどのように評価するかを理解すること。
• ソーシャル投票およびユーザーの履歴が、ソーシャルQ&Aプラットフォームにおける認識されたレピュテーションをどのように形成するかを調査すること。
• 優先的付着のため、ソーシャル投票が高品質なコンテンツを促進する上で抱える制限を特定すること。
• ソーシャルシグナルとアルゴリズム的ランク付けを組み合わせることで、権威あるコンテンツの特定をどのように改善できるかを検討すること。

提案手法

• 60のQuoraトピックに参加した3,917人のユーザーの行動データを収集・分析し、関与のパターンとレピュテーション形成を研究した。
• 10人のQuoraユーザーに対して深掘りインタビューを実施し、権威およびレピュテーションに関する認識を定性的に把握した。
• Quoraにおけるユーザーの信頼性およびコンテンツ品質を確立するための主な出典の役割を検討した。
• ソーシャル投票がコンテンツの可視性およびユーザーのレピュテーションに与える影響を評価し、優先的付着などのバイアスを特定した。
• ソーシャル投票とアルゴリズム的ランク付けを統合するハイブリッドアプローチを提唱し、品質検出の向上を図った。
• 定性的および定量的データを用いて、Quoraにおけるレピュテーションの構築および維持の仕組みを評価した。

実験結果

リサーチクエスチョン

• RQ1 Quoraのユーザーは、他のユーザーおよびコンテンツの権威をどのように判断するか？
• RQ2 Quoraにおけるユーザーのレピュテーション認識に影響を与える要因は何か？
• RQ3 ソーシャル投票は、高品質なコンテンツの可視性にどの程度寄与しているか？
• RQ4 ソーシャル投票にはどのような制限があり、それらはどのように緩和できるか？
• RQ5 レピュテーションメカニズムをどのように改善すれば、権威ある貢献者およびコンテンツをよりよく特定・促進できるか？

主な発見

• ユーザーは、専門家や直接経験を持つ者といった主な出典からのコンテンツを、より権威的であると認識している。
• Quoraにおけるレピュテーションは、主にユーザーの過去の貢献に基づいており、一貫性と高品質な出力が、認識される信頼性を高める。
• ソーシャル投票は人気のあるコンテンツを浮き彫りにするが、すでに人気のあるコンテンツが不釣り合いに高い可視性を得る傾向の「優先的付着」に左右されやすい。
• ソーシャル投票とアルゴリズム的ランク付けを組み合わせることで、バイアスを軽減し、高品質なコンテンツの特定を改善できる。
• ユーザーは、アップボタンなどの明示的シグナルに加え、ユーザー履歴や出典の信頼性といった暗黙の手がかりも、権威を判断する際に活用している。
• インタビューでは、ユーザーが貢献の透明性と一貫性を、レピュテーションの主要な指標として重視していることが明らかになった。