[论文解读] Assessing the Performance of Question-and-Answer Communities Using Survival Analysis
本文将生存分析应用于建模 Stack Exchange 社区中问题的解决时间，揭示出较短的问题、包含示例以及拥有更大基于标签的受众显著提高了获得回答的可能性。该方法可实现站点特定的性能预测，并识别出影响问题解决速度的关键因素。
Question-&-Answer (QA) websites have emerged as efficient platforms for knowledge sharing and problem solving. In particular, the Stack Exchange platform includes some of the most popular QA communities to date, such as Stack Overflow. Initial metrics used to assess the performance of these communities include summative statistics like the percentage of resolved questions or the average time to receive and validate correct answers. However, more advanced methods for longitudinal data analysis can provide further insights on the QA process, by enabling identification of key predictive factors and systematic comparison of performance across different QA communities. In this paper, we apply survival analysis to a selection of communities from the Stack Exchange platform. We illustrate the advantages of using the proposed methodology to characterize and evaluate the performance of QA communities, and then point to some implications for the design and management of QA platforms.
研究动机与目标
- 开发一种超越基础描述性统计的纵向时间评估框架，用于问答社区。
- 识别影响在线问答平台问题解决速度与可能性的预测因素。
- 通过生存建模技术实现不同问答社区之间的性能比较。
- 通过估计回答时间并识别关键问题特征，支持自适应问答平台的设计。
提出的方法
- 将生存分析应用于事件时间数据，其中事件为问题通过接受答案被解决。
- 使用 Cox 比例风险模型，基于问题长度、示例存在性以及标签流行度等协变量，估计解决的风险比。
- 对比例风险假设进行了检验，结果表明其成立，验证了 Cox 模型在预测中的适用性。
- 协变量包括问题正文长度（以 KB 计）、示例存在性以及订阅该标签的用户数量。
- 模型系数（对数风险比）量化了每个特征对解决可能性的影响。
- 该方法纳入了右删失数据（未解决的问题），相比传统的均值/中位数指标更具鲁棒性。
实验结果
研究问题
- RQ1哪些因素显著影响问答社区中问题的解决时间？
- RQ2问题特征（如长度和示例的包含）如何影响其解决的可能性？
- RQ3受众规模（标签订阅人数）在多大程度上影响问题的解决速度？
- RQ4生存分析能否提供比传统汇总统计更准确、更系统的性能评估？
- RQ5预测因素在同一大平台内的不同问答社区之间有何差异？
主要发现
- 正文长度小于 1 KB 的问题具有更高的风险比，显著提高了快速解决的可能性。
- 正文长度超过 1 KB 的问题表现出负的对数风险比，表明其解决可能性降低。
- 在问题中包含示例可提高其风险比，从而提升解决的可能性。
- 未包含示例的问题风险比更低，降低了其被解决的可能性。
- 当问题标签的订阅用户超过 50,000 人时，其解决概率显著提高，体现了群体智慧效应。
- 标签受众规模对解决可能性的影响随用户数量增加而迅速增强，凸显了社区覆盖范围的重要性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。