[論文レビュー] Chaff from the Wheat : Characterization and Modeling of Deleted Questions on Stack Overflow

Denzil Correa, Ashish Sureka|arXiv (Cornell University)|Jan 2, 2014

Expert finding and Q&A systemsComputer Science被引用数 17

ひとこと要約

本論文は、Stack Overflowにおける削除済み質問の最初の大規模な研究を提示し、その特徴を分析し、ユーザープロフィール、コミュニティ行動、コンテンツ、構文の4つの分野からなる47の特徴を用いて予測モデルを構築した。投稿時における削除予測の正解率は66%に達し、低品質なコンテンツのパターンや、プラットフォーム上での質の段階的構造に関する洞察を明らかにした。

ABSTRACT

Stack Overflow is the most popular CQA for programmers on the web with 2.05M users, 5.1M questions and 9.4M answers. Stack Overflow has explicit, detailed guidelines on how to post questions and an ebullient moderation community. Despite these precise communications and safeguards, questions posted on Stack Overflow can be extremely off topic or very poor in quality. Such questions can be deleted from Stack Overflow at the discretion of experienced community members and moderators. We present the first study of deleted questions on Stack Overflow. We divide our study into two parts (i) Characterization of deleted questions over approx. 5 years (2008-2013) of data, (ii) Prediction of deletion at the time of question creation. Our characterization study reveals multiple insights on question deletion phenomena. We observe a significant increase in the number of deleted questions over time. We find that it takes substantial time to vote a question to be deleted but once voted, the community takes swift action. We also see that question authors delete their questions to salvage reputation points. We notice some instances of accidental deletion of good quality questions but such questions are voted back to be undeleted quickly. We discover a pyramidal structure of question quality on Stack Overflow and find that deleted questions lie at the bottom (lowest quality) of the pyramid. We also build a predictive model to detect the deletion of question at the creation time. We experiment with 47 features based on User Profile, Community Generated, Question Content and Syntactic style and report an accuracy of 66%. Our feature analysis reveals that all four categories of features are important for the prediction task. Our findings reveal important suggestions for content quality maintenance on community based question answering websites.

研究の動機と目的

• 厳格なガイドラインと積極的なモデレーションにもかかわらず、Stack Overflowで削除された質問の性質と原因を理解すること。
• 削除のタイミング、投票行動、および著者が自ら行う自己削除を含む、質問削除に関するパターンを特定すること。
• 作成時から低品質な質問を特定する予測モデルを開発し、コンテンツの質を向上させるとともに、モデレータの負担を軽減すること。
• ユーザープロフィール、コミュニティ行動、コンテンツ、構文の4つの特徴タイプのうち、削除予測にどの程度寄与しているかを分析すること。

提案手法

• 2008年から2013年までの間のStack Overflowから470,096件の質問（削除済み235,048件、非削除235,048件）を収集・分析した。
• 47の予測特徴を4つのグループに分類：ユーザープロフィール、コミュニティが生成する信号、質問コンテンツ、文法的スタイル。
• ベース分類器として決定木を用い、SAMME.Rブースティングアルゴリズムを用いたアンサンブル学習アプローチを採用した。
• 過学習を防ぎ、評価の信頼性を確保するため、70-30%のトレーニング・テスト分割と10分割交差検証を実施した。
• F1スコア、正解率、AUCを用いて、特徴量セットを段階的に追加することで、予測性能への寄与度を評価した。
• Adaboostからの特徴量の重要度分析を用い、全4つの特徴カテゴリにまたがる上位の判別特徴を同定した。

実験結果

リサーチクエスチョン

• RQ1 Stack Overflowにおける質問削除に関連する時間的傾向と行動パターンは何か？
• RQ2 コミュニティの投票と著者が自ら行う自己削除は、削除プロセスにどのように影響を与え、その背後にはどのような動機があるのか？
• RQ3 Stack Overflowにおける質問の質の段階的構造はどのようなものであり、削除済み質問はこの階層のどこに位置するのか？
• RQ4 ユーザープロフィール、コミュニティ行動、コンテンツ、構文のうち、どの特徴の組み合わせが質問の削除を最もよく予測できるか？
• RQ5 機械学習モデルは質問作成時から削除をどの程度正確に予測できるのか？また、個々の特徴量セットは予測性能にどのように寄与しているのか？

主な発見

• 過去5年間で、Stack Overflowにおける削除済み質問の数は顕著な増加傾向を示しており、特に最近2年間で顕著である。
• コミュニティメンバーは削除投票に多大な時間を要するが、一度合意が得られると、実際の削除プロセスは迅速に進行する。
• 著者が自身の質問を削除して失ったレピュテーションポイントを取り戻す傾向があることから、自己削除にはレピュテーション上のインcentive（インcentive）が関与していることが示唆される。
• 高品質な質問が誤って削除される事例は発生するが、コミュニティによる投票で素早く元に戻される。
• Stack Overflowには質の段階的構造（ピラミッド構造）が存在し、削除済み質問は最下層（最悪の質）に位置し、次に閉鎖済み質問、そしてアクティブな質問が続く。
• 予測モデルは質問作成時における削除予測で66%の正解率を達成しており、各特徴量セットを段階的に追加することで性能が向上し、全4つの特徴カテゴリが予測性能に顕著に寄与している。