[論文レビュー] A Deep Learning Approach for Expert Identification in Question Answering Communities

Zheng Chen, Shuangfei Zhai+1 more|arXiv (Cornell University)|Nov 14, 2017

Expert finding and Q&A systems参考文献 2被引用数 11

ひとこと要約

本稿では、回答の質に依存せずに、質問のテキストとユーザーエンベッディングのみを用いて、質疑応答コミュニティにおけるエキスパート同定のための新しいCNNベースのフレームワーク、Q-USER-CNNを提案する。質問とユーザーレプリゼンテーションを畳み込みネットワークを用いて統合的にモデリングすることで、Stack OverflowおよびZhihuのデータセットで最先端のTop-1正解率を達成した。

ABSTRACT

In this paper, we describe an effective convolutional neural network framework for identifying the expert in question answering community. This approach uses the convolutional neural network and combines user feature representations with question feature representations to compute scores that the user who gets the highest score is the expert on this question. Unlike prior work, this method does not measure expert based on measure answer content quality to identify the expert but only require question sentence and user embedding feature to identify the expert. Remarkably, Our model can be applied to different languages and different domains. The proposed framework is trained on two datasets, The first dataset is Stack Overflow and the second one is Zhihu. The Top-1 accuracy results of our experiments show that our framework outperforms the best baseline framework for expert identification.

研究の動機と目的

• 回答の質の指標に依存せずに、オンラインQAコミュニティにおける特定の質問に対する唯一のエキスパートユーザを同定する課題に対処すること。
• 言語やドメインをまたいで一般化可能なフレームワークを構築し、Stack OverflowやZhihuのような多様なQAプラットフォームに適用可能とすること。
• 回答がまだ存在しない状況においても、質問とユーザのマッチングに基づいて最も適したエキスパートを特定することで、プロアクティブなエキスパート推薦を可能とすること。
• 言語処理ツールや手動による特徴工学を排除し、学習されたエンベッディングとエンドツーエンドのディープラーニングを活用すること。
• CNNベースのスコアリング機構を用いて、ユーザと質問のレプリゼンテーションを統合する有効性を示すこと。

提案手法

• QAコミュニティ内のソーシャルネットワーク構造から、DeepWalkを用いてユーザの低次元ベクトル表現を学習する。
• 事前学習済みの単語エンベッディング（GloVeまたはWord2Vec）を用いて、質問テキストを連続的ベクトル空間に表現する。
• 1次元畳み込みニューラルネットワーク（CNN）を用いて、質問およびユーザーエンベッディングのシーケンスから局所的特徴を抽出する。
• CNNで処理された質問とユーザーフィーチャを連結し、全結合層に通してマッチングスコアを計算する。
• 最も高いスコアを持つユーザを、与えられた質問に対する予測エキスパートとして選択する。
• マージンを用いたコントラスト学習損失関数を用いて、エキスパート対非エキスパートユーザペアの順序を最適化する。

実験結果

リサーチクエスチョン

• RQ1 回答の質に依存せずに、質問の内容とユーザーエンベッディングのみを用いて、QAコミュニティにおけるエキスパートユーザを効果的に同定できるか？
• RQ2 提案されたQ-USER-CNNフレームワークは、英語と中国語といった異なる言語、およびStack Overflowの10以上のドメイン、Zhihuの100以上のドメインといった多様なドメインに、どの程度一般化できるか？
• RQ3 回答コンテンツやグラフベースの特徴を用いる既存のベースライン手法に比べ、本モデルはエキスパート同定で優れた性能を示すか？
• RQ4 最適なパフォーマンスを発揮するハイパーパrameter設定（例：領域サイズ、学習率、エンベッディングタイプ）は何か？
• RQ5 回答がまだ存在しない状況においても、本モデルはプロアクティブなエキスパート推薦を可能にするか？

主な発見

• Q-USER-CNNモデルは、Zhihuのtest2セットでTop-1正解率85.32%を達成し、Q-A-CNNベースラインを1.3ポイント以上上回った。
• Stack Overflowデータセットでは、最良のQ-USER-CNN設定がTop-1正解率85.28%を達成し、同じスプリットでQ-A-CNNモデルの83.97%を上回った。
• 最適なパフォーマンスは、Stack Overflowでは領域サイズ(2,3,4,5)、Zhihuでは(3,4,5)で達成され、学習率1e-5とAdam最適化手法を用いた。
• 両データセットにおいてGloVeエンベッディングがWord2Vecを常に上回った。これは、多言語およびドメイン一般化に優れた性能を示している。
• 言語処理ツールに依存せず、英語（Stack Overflow）と中国語（Zhihu）間で強いゼロショット一般化性能を示した。
• アブレーションスタディにより、CNNベースの質問とユーザーフィーチャの統合が、単純なマッチング手法よりもエキスパート検出性能を顕著に向上させることを確認した。