[論文レビュー] Want a Good Answer? Ask a Good Question First!

Yuan Yao, Hanghang Tong+4 more|arXiv (Cornell University)|Nov 27, 2013

Expert finding and Q&A systems参考文献 24被引用数 33

ひとこと要約

本稿では、Stack Overflow などのコミュニティ型質問応答（CQA）プラットフォームで、質問と回答の質の間に強い正の相関関係が存在することを踏まえ、質問と回答の質を同時に予測する CoPs と呼ばれる共予測アルゴリズムのファミリーを提案する。特徴量、予測された質、およびそれらの相互依存関係を同時にモデル化することで、最新の手法よりも最大13.13%低い予測誤差を達成するとともに、データサイズに比例して線形にスケーリングする。

ABSTRACT

Community Question Answering (CQA) websites have become valuable repositories which host a massive volume of human knowledge. To maximize the utility of such knowledge, it is essential to evaluate the quality of an existing question or answer, especially soon after it is posted on the CQA website. In this paper, we study the problem of inferring the quality of questions and answers through a case study of a software CQA (Stack Overflow). Our key finding is that the quality of an answer is strongly positively correlated with that of its question. Armed with this observation, we propose a family of algorithms to jointly predict the quality of questions and answers, for both quantifying numerical quality scores and differentiating the high-quality questions/answers from those of low quality. We conduct extensive experimental evaluations to demonstrate the effectiveness and efficiency of our methods.

研究の動機と目的

• コミュニティ型質問応答（CQA）プラットフォームにおける質問の質と回答の質の相関関係を調査すること。
• 質問と回答を独立して扱う従来の質の予測手法の限界を解決すること。
• 質問と回答の質の間の相互依存関係を活用することで、精度を向上させる統合予測フレームワークを開発すること。
• より良いモデレーション、レコメンデーション、および検索順位付けを可能にするために、高品質および低品質の投稿を早期に検出できること。

提案手法

• 質問と回答を共有の特徴量と相互の質の依存関係を用いて統合的にモデル化する、CoPs と呼ばれる共予測アルゴリズムのファミリーを提案。
• 数値的質のスコアと二値分類（高品質対低品質）を統合的なフレームワーク内で統合。
• 質問と回答の間の相互相関に基づいて予測を同時に予測し、予測を改善するための共同最適化アプローチを採用。
• Stack Overflow からのテキスト的、構造的、社会的メタデータ（例：レピュテーション、編集履歴、回答数）を用いた特徴工学。
• データ量の増加に伴っても効率的であることを保証する線形スケーラビリティ設計を採用。
• 実世界の CQA データ上でモデルを学習および検証するため、人間によるアノテート済みの質のラベルを活用。

実験結果

リサーチクエスチョン

• RQ1 CQA プラットフォームにおいて、質問の質とその関連する回答の質の間に統計的に有意な相関関係が存在するか？
• RQ2 質問と回答の質を同時にモデル化することで、独立して予測する手法に比べて予測精度が向上するか？
• RQ3 提案された共予測フレームワークは、実世界の CQA データにおいて、有効性と効率性の観点でどの程度の性能を示すか？
• RQ4 質の予測タスクで一般的に見られるラベルのスパarsity状況において、この手法はどの程度の耐性を示せるか？

主な発見

• Stack Overflow において、質問の質と回答の質の間に強い正の相関関係が存在し、高品質な質問は一貫して高品質な回答を引きつける。
• 提案された CoPs フレームワークは、数値的および二値的質の予測タスクの両方において、最新の手法よりも最大13.13%の予測誤差の低減を達成。
• 質問と回答の数に比例して線形にスケーリングするため、大規模な CQA プラットフォームに適している。
• 人間によるアノテート済みラベルが限られた状況でも、CoPs は質の依存関係を活用することでデータのスパarsity を効果的に緩和する。
• 統合予測は独立した予測モデルを著しく上回り、相互依存関係をモデル化することの価値を確認した。
• フレームワークにより、初期段階での質の予測が可能となり、タイムリーなモデレーション、エキスパートルーティング、および強化された検索順位付けを支援する。