[論文レビュー] Assessing the Performance of Question-and-Answer Communities Using Survival Analysis

Felipe Ortega, Gregorio Convertino+2 more|arXiv (Cornell University)|Jul 22, 2014

Expert finding and Q&A systems参考文献 28被引用数 7

ひとこと要約

本論文は、Stack Exchangeコミュニティにおける質問の解決までの時間をモデル化するために生存分析を適用し、短い質問、例の含む、タグベースの読者層が大きいことが回答の可能性を高めることを明らかにした。この手法により、サイト固有のパフォーマンス予測が可能になり、質問解決速度の主な予測要因が特定された。

ABSTRACT

Question-&-Answer (QA) websites have emerged as efficient platforms for knowledge sharing and problem solving. In particular, the Stack Exchange platform includes some of the most popular QA communities to date, such as Stack Overflow. Initial metrics used to assess the performance of these communities include summative statistics like the percentage of resolved questions or the average time to receive and validate correct answers. However, more advanced methods for longitudinal data analysis can provide further insights on the QA process, by enabling identification of key predictive factors and systematic comparison of performance across different QA communities. In this paper, we apply survival analysis to a selection of communities from the Stack Exchange platform. We illustrate the advantages of using the proposed methodology to characterize and evaluate the performance of QA communities, and then point to some implications for the design and management of QA platforms.

研究の動機と目的

• 基本的な記述統計を超えた縦断的・時間的評価フレームワークの構築を目的とする。
• オンラインQ&Aプラットフォームにおける質問解決の速度および確率に影響を与える要因を同定することを目的とする。
• 生存モデリング手法を用いて、異なるQAコミュニティ間でのパフォーマンス比較を可能とすることを目的とする。
• 回答までの時間の推定と影響を及ぼす質問特徴の同定を通じて、適応的QAプラットフォームの設計を支援することを目的とする。

提案手法

• 生存分析は、質問が受容された回答を伴って解決されたというイベントが発生するまでの時間を扱う時間イベントデータに適用された。
• コックス比例ハザードモデルを用いて、質問長、例の有無、タグの人気度などの共変量に基づく解決のハザード比を推定した。
• 比例ハザード仮定は検証され、その妥当性が確認されたため、コックスモデルを予測に使用することが正当化された。
• 共変量には、質問本文の長さ（KB単位）、例の有無、タグに登録されたユーザー数が含まれる。
• モデルの係数（対数ハザード比）は、各特徴が解決確率に与える影響を定量化する。
• 未解決の質問（打ち切りデータ）を組み込むことで、従来の平均値・中央値指標と比較して、より頑健な評価が可能になった。

実験結果

リサーチクエスチョン

• RQ1 Q&Aコミュニティにおける質問の解決までの時間に顕著に影響を与える要因は何か？
• RQ2 質問の長さや例の有無といった質問特徴は、解決の可能性にどのように影響するか？
• RQ3 読者層の規模（タグ登録ユーザー数）は、質問の解決速度にどの程度影響を与えるか？
• RQ4 生存分析は、従来の要約統計量と比較して、より正確で体系的なパフォーマンス評価を提供できるか？
• RQ5 同じプラットフォーム内における異なるQAコミュニティ間で、予測要因はどのように異なるか？

主な発見

• 1 KB未満の短い質問は、高いハザード比を示し、迅速な解決の可能性が高くなる。
• 1 KBを超える質問本文の長さは、負の対数ハザード比を示し、解決の可能性が低下することを示している。
• 質問に例が含まれていると、ハザード比が上昇し、解決の可能性が向上する。
• 例のない質問は、ハザード比が低く抑えられ、解決の可能性が低下する。
• 質問のタグに50,000人以上のユーザーが登録されていると、解決確率が著しく上昇し、クラウドの知恵の効果が顕著に現れる。
• タグ読者層の規模が増加するにつれて、解決確率への影響が急激に増大する傾向が示され、コミュニティのカバレッジの重要性が強調された。