[論文レビュー] Fit or Unfit : Analysis and Prediction of 'Closed Questions' on Stack Overflow

Denzil Correa, Ashish Sureka|arXiv (Cornell University)|Jul 27, 2013

Expert finding and Q&A systems参考文献 10被引用数 6

ひとこと要約

本研究では、2008年から2012年までの間に収集された340万件の質問を用いて、Stack Overflowにおける「閉じられた」質問を分析・予測する。機械学習モデルを用い、ユーザー、コンテンツ、コミュニティの特徴を統合し、質問の閉鎖を73%の正確さで予測した。特に、URLリファレンスとコードスニペットの長さが予測に最も寄与した。

ABSTRACT

Stack Overflow is widely regarded as the most popular Community driven Question Answering (CQA) website for programmers. Questions posted on Stack Overflow which are not related to programming topics, are marked as 'closed' by experienced users and community moderators. A question can be 'closed' for five reasons - duplicate, off-topic, subjective, not a real question and too localized. In this work, we present the first study of 'closed' questions in Stack Overflow. We download 4 years of publicly available data which contains 3.4 Million questions. We first analyze and characterize the complete set of 0.1 Million 'closed' questions. Next, we use a machine learning framework and build a predictive model to identify a 'closed' question at the time of question creation. One of our key findings is that despite being marked as 'closed', subjective questions contain high information value and are very popular with the users. We observe an increasing trend in the percentage of closed questions over time and find that this increase is positively correlated to the number of newly registered users. In addition, we also see a decrease in community participation to mark a 'closed' question which has led to an increase in moderation job time. We also find that questions closed with the Duplicate and Off Topic labels are relatively more prone to reputation gaming. For the 'closed' question prediction task, we make use of multiple genres of feature sets based on - user profile, community process, textual style and question content. We use a state-of-art machine learning classifier based on an ensemble learning technique and achieve an overall accuracy of 73%. To the best of our knowledge, this is the first experimental study to analyze and predict 'closed' questions on Stack Overflow.

研究の動機と目的

• Stack Overflowにおける『閉じられた』質問の特徴を分析すること。これは、重複、不適切、主観的コンテンツなどの理由でQ&A形式にふさわしくないとマークされたものである。
• 時間経過に伴う質問の閉鎖傾向を調査すること。具体的には、閉鎖率の上昇と、モデレーションにおけるコミュニティ参加の減少を含む。
• 質問作成時における機械学習を用いた『閉じられた』質問の予測モデルを構築すること。
• 特に『重複』と『不適切』の閉鎖タイプに関して、レピュテーションゲームの影響を評価すること。
• アンサンブル学習分類器を用いて、質問の閉鎖予測に最も寄与する特徴を特定すること。

提案手法

• 2008年8月から2012年8月までの間、公開可能な340万件のStack Overflowの質問を収集・分析した。そのうち101,691件が閉じられた質問であった。
• 閉じられた質問を5つのラベルに分類した：重複、不適切、主観的、実際の質問でない、およびあまりにも局所的。
• ユーザープロファイル、コミュニティプロセス、テクスチャルスタイル、質問コンテンツの4つの特徴セットを用いて、確率的勾配ブースティング木（SGBT）を用いた予測モデルを構築した。
• 70%-30%のトレイン・テスト分割を用い、10分割交差検証を実施。性能評価には正確度、F1スコア、AUCを用いた。
• SGBTによる特徴重要度分析を実施し、Stack OverflowのURL、コードスニペット長、タイトル長、投稿スコア、アカウント年数といった上位予測特徴を同定した。
• 特徴の逐次追加を実施し、各特徴セットがモデル性能に与える寄与度を評価した。

実験結果

リサーチクエスチョン

• RQ1 4年間の期間にわたり、Stack Overflowにおける『閉じられた』質問の種類と頻度の主な特徴とトレンドは何か？
• RQ2 特に主観的質問に関して、閉じられた質問のポピュラリティと情報価値は、閉じられた理由によってどのように変化するか？
• RQ3 質問の閉鎖率が時間経過とともに上昇する要因は何か？また、ユーザーの増加とモデレーション作業負荷の増加とはどのように相関するか？
• RQ4 ユーザー、コンテンツ、コミュニティの特徴を用いた機械学習により、投稿時における質問の閉鎖をどの程度正確に予測できるか？
• RQ5 質問が閉じられやすいという予測に最も寄与する特徴は何か？また、閉じられた理由ごとにその特徴はどのように異なるか？

主な発見

• 閉じられたにもかかわらず、主観的質問は依然として高い情報価値を持ち、ユーザーからの人気が高かった。これは、閉じられた質問が低品質であるという仮定に反する。
• 閉じられた質問の割合は時間経過とともに増加しており、新規登録ユーザー数の増加と正の相関関係にあった。
• 質問を閉じるとマークするためのコミュニティ参加は時間経過とともに減少し、モデレーション作業の所要時間が長くなった。
• 『重複』と『不適切』として閉じられた質問は、レピュテーションゲームの影響を強く受けており、投票システムの操作の可能性を示唆している。
• 予測モデルは全体で73%の正確度を達成した。F1スコアとAUCは、特徴セットを段階的に追加するごとに改善した。
• 最も重要な予測特徴は、Stack OverflowのURLの有無、コードスニペット長、タイトル長、投稿スコア、アカウント年数であり、短いタイトルや低いスコアは閉鎖の可能性を高めた。