[論文レビュー] Question Relatedness on Stack Overflow: The Task, Dataset, and Corpus-inspired Models

Amirreza Shirani, Bowen Xu+3 more|arXiv (Cornell University)|May 2, 2019

Expert finding and Q&A systems被引用数 11

ひとこと要約

本稿では、Stack Overflowにおけるマルチクラスの質問類似度タスクを紹介し、知識ユニットのペアを同一質問、直接的、間接的、孤立の4つのカテゴリに分類する。30万件を超えるアノテート済みペアを含む大規模データセットを提示し、BiLSTMベースのモデル（DotBiLSTM）とソフトコサインSVMモデルを提案。両モデルとも、同一質問検出タスクで最先端の手法を上回り、DotBiLSTMは4クラス分類タスクで75%のF-microスコア、再定式化された二値同一質問検出タスクで91%のスコアを達成した。

ABSTRACT

Domain-specific community question answering is becoming an integral part of professions. Finding related questions and answers in these communities can significantly improve the effectiveness and efficiency of information seeking. Stack Overflow is one of the most popular communities that is being used by millions of programmers. In this paper, we analyze the problem of predicting knowledge unit (question thread) relatedness in Stack Overflow. In particular, we formulate the question relatedness task as a multi-class classification problem with four degrees of relatedness. We present a large-scale dataset with more than 300K pairs. To the best of our knowledge, this dataset is the largest domain-specific dataset for Question-Question relatedness. We present the steps that we took to collect, clean, process, and assure the quality of the dataset. The proposed dataset Stack Overflow is a useful resource to develop novel solutions, specifically data-hungry neural network models, for the prediction of relatedness in technical community question-answering forums. We adopt a neural network architecture and a traditional model for this task that effectively utilize information from different parts of knowledge units to compute the relatedness between them. These models can be used to benchmark novel models, as they perform well in our task and in a closely similar task.

研究の動機と目的

• ドメイン特化型コミュニティQAにおけるマルチクラス質問類似度検出タスクを定義・形式化すること、特にStack Overflowを対象として。
• 30万件を超える質問スレッドペアを含む大規模かつ高品質なデータセットを構築し、同一質問、直接的、間接的、孤立の4つの類似度レベルでアノテートすること。
• 技術フォーラムにおける類似度予測に効果的なモデル（深層学習および従来の機械学習モデル）を開発・ベンチマークすること。
• 提案されたマルチクラスタスクと密接に関連する二値同一質問検出タスクの両方で、モデルの性能を評価し、相互比較を行うこと。

提案手法

• 類似度タスクは、同一質問、直接的、間接的、孤立の4つのラベルをもつマルチクラス分類問題として定式化された。
• URL共有パターンを用いてStack Overflow上で大規模データセットを収集し、共有されたURLは類似度の認識を示すものとみなされた。
• 複数段階にわたるデータクリーニングと品質保証が実施され、専門家によるアノテーションとユーザー研究を通じて信頼性の妥当性を検証した。
• 質問スレッド間の意味的類似度をモデル化するため、ドット積アテンション機構を備えた軽量な双方向LSTM（DotBiLSTM）ネットワークが適応された。
• タイトル、本文、回答テキストから手作業で抽出したソフトコサイン類似度特徴を用いて、サポートベクターマシン（SVM）モデルが訓練された。
• 両モデルは、元の4クラスタスクと再定式化された二値同一質問検出タスクの両方で評価され、公平性を確保するためアンダーサンプリングによるクラスバランスがとられた。

実験結果

リサーチクエスチョン

• RQ1 Stack Overflowのような技術フォーラムにおける質問類似度は、単純な同一／非同一の二値にとどまらず、複数の類似度レベルに意味的に分類可能であるか？
• RQ2 コミュニティQAプラットフォームにおいて、URL共有を類似度の代理指標として用いる信頼性とスケーラビリティはいかがなものか？
• RQ3 深層学習モデルと従来の機械学習モデルは、ドメイン特化型の環境下で大規模なマルチクラス質問類似度タスクに対して、どのように性能を発揮するか？
• RQ4 本データセットで学習したモデルは、二値同一質問検出のような関連タスクにどの程度一般化可能であり、最先端のアプローチと比較してどうなるか？

主な発見

• 提案されたデータセットには、4つの類似度クラスでアノテートされた30万件を超える質問スレッドペアが含まれており、これはこれまでに公開された中で最大のドメイン特化型類似度データセットである。
• DotBiLSTMモデルは、4クラス分類タスクで75%のF-microスコアを達成し、SoftSVMモデル（59% F-micro）を著しく上回った。
• 再定式化された二値同一質問検出タスクでは、DotBiLSTMが91%のFスコアを達成し、問題の簡略化されたが一般的なバージョンにおいて優れた性能を示した。
• 手作業で抽出したソフトコサイン特徴を用いたSoftSVMモデルは、二値タスクで70%のFスコアを達成し、従来のアプローチであるにもかかわらず競争力のある性能を示した。
• 両モデルとも、AskUbuntuデータセット上で最先端のハイブリッドDCNNモデルを上回り、それぞれ88%および90%のFスコアを達成した。これは、異なるデータセット間でもモデルの堅牢性が確認されたことを示している。
• ユーザー研究により、URL共有を類似度の代理指標として用いる信頼性が確認され、データセット収集手法の妥当性が裏付けられた。