[論文レビュー] Harvesting Collective Intelligence: Temporal Behavior in Yahoo Answers

Christina Aperjis, Bernardo A. Huberman+1 more|arXiv (Cornell University)|Jan 13, 2010

Expert finding and Q&A systems参考文献 14被引用数 8

ひとこと要約

本稿は、Yahoo Answersのユーザーが情報収集の速度と正確性の両者をどのようにバランスさせるかを調査し、回答数に対する限界効用の逓減が見られ、質問ごとの回答数が逆ガウス分布に従うことを発見した—これは閾値に基づく意思決定プロセスを示している。本研究は、実世界のデータを用いた実証的分析と理論的モデリングを統合し、集団知の収集における行動パターンを明らかにした。その結果、Q&Aプラットフォームの設計最適化に寄与するものである。

ABSTRACT

When harvesting collective intelligence, a user wishes to maximize the accuracy and value of the acquired information without spending too much time collecting it. We empirically study how people behave when facing these conflicting objectives using data from Yahoo Answers, a community driven question-and-answer site. We take two complementary approaches. We first study how users behave when trying to maximize the amount of the acquired information, while minimizing the waiting time. We identify and quantify how question authors at Yahoo Answers trade off the number of answers they receive and the cost of waiting. We find that users are willing to wait more to obtain an additional answer when they have only received a small number of answers; this implies decreasing marginal returns in the amount of collected information. We also estimate the user's utility function from the data. Our second approach focuses on how users assess the qualities of the individual answers without explicitly considering the cost of waiting. We assume that users make a sequence of decisions, deciding to wait for an additional answer as long as the quality of the current answer exceeds some threshold. Under this model, the probability distribution for the number of answers that a question gets is an inverse Gaussian, which is a Zipf-like distribution. We use the data to validate this conclusion.

研究の動機と目的

• コミュニティ主導のQ&Aプラットフォームにおいて、ユーザーが情報取得の速度と回答の正確性の両者をどのようにバランスさせるかを理解すること。
• 受信した回答の数と質に基づいて、質問投稿者がいつ質問を閉じるかを決定するユーザーの停止行動をモデル化すること。
• 質問ごとの回答数がZipfに類似した分布に従うかどうかを検証すること—これは閾値に基づく意思決定プロセスを示唆する。
• 回答数と待機時間の観点から、ユーザーの効用関数を推定し、限界効用の逓減を明らかにすること。
• 社会的余剰を最大化するための最適な質問表示戦略を特定することで、プラットフォーム設計に知見を提供すること。

提案手法

• ユーザーが時間的制約と情報的制約の下で効用を最大化すると仮定し、Yahoo Answersのデータを実証的に分析して、回答数と待機時間のトレードオフをモデル化すること。
• データから凹型の効用関数を推定し、回答数に対する限界効用の逓減を示すこと。
• ユーザーの意思決定を閾値に基づく停止ルールとしてモデル化：ユーザーは、現在の回答の価値が閾値を超える限り待機する。
• 閾値モデルの下で、回答数が逆ガウス分布に従うことを導出でき、その尾部挙動はZipfに類似している。
• 最尤推定法を用いて、逆ガウス分布をデータにフィットさせ、パラメータとしてμ = 6.1およびλ = 5.8を取得した。
• 実証的累積分布関数および周波数分布の対数-対数プロットを用いて、モデルの妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 Yahoo Answersにおいて、ユーザーは回答数の増加と待機時間の増加の間でどのようにトレードオフを行っているか？
• RQ2 回答数と待機コストの観点から、ユーザーの効用関数の形状はいかなるものか？
• RQ3 質問ごとの回答数は、閾値に基づく意思決定モデルに整合する分布に従うか？
• RQ4 逆ガウス分布は、回答数の実証的分布に適切なフィットを示すか？
• RQ5 観察された行動は、閾値に吸収壁を持つランダムウォークモデルで説明可能か？

主な発見

• ユーザーは回答数に対して限界効用の逓減を示しており、回答数に関する効用関数が凹型であることを示している。
• データから推定された効用関数は、ユーザーが最初の数通の回答を得るために著しく長い待機時間を厭わないが、後続の回答についてはその意欲が著しく低下することを示している。
• 質問ごとの回答数は、平均μ = 6.1およびスケールパラメータλ = 5.8の逆ガウス分布に従うことが確認され、実証的累積分布関数および対数-対数周波数プロットによって裏付けられた。
• 対数-対数スケールでの分布の尾部は、約-3/2の勾配を示しており、逆ガウスモデルが予測するZipfに類似した挙動が確認された。
• ユーザーが現在の回答の価値が閾値を超える限り待機するという閾値ベースの意思決定モデルは、観察された回答数の分布を適切に説明している。
• 結果から、Q&Aプラットフォームは、推定された効用関数と回答分布モデルを活用することで、質問の可視性と回答率を最適化できる可能性がある。