[論文レビュー] Expert Finding in Community Question Answering: A Review

Sha Yuan, Yu Zhang+2 more|arXiv (Cornell University)|Apr 21, 2018

Expert finding and Q&A systems参考文献 30被引用数 10

ひとこと要約

この論文は、コミュニティ質問応答（CQA）におけるエキスパート検出をレビューし、既存の手法を行列分解（MFベース）、勾配ブースティングツリー（GBTベース）、ディープラーニング（DLベース）、ランク付け（Rベース）のモデルに分類する。テキスト対テキストのマッチングにおいてはMFベースのモデルが他の手法を上回ることが判明した。一方、アンサンブル学習は全タスクで性能を顕著に向上させ、最良のモデルでは実世界のCQAデータでAUCスコアが0.50812に達した。

ABSTRACT

The rapid development recently of Community Question Answering (CQA) satisfies users quest for professional and personal knowledge about anything. In CQA, one central issue is to find users with expertise and willingness to answer the given questions. Expert finding in CQA often exhibits very different challenges compared to traditional methods. Sparse data and new features violate fundamental assumptions of traditional recommendation systems. This paper focuses on reviewing and categorizing the current progress on expert finding in CQA. We classify all the existing solutions into four different categories: matrix factorization based models (MF-based models), gradient boosting tree based models (GBT-based models), deep learning based models (DL-based models) and ranking based models (R-based models). We find that MF-based models outperform other categories of models in the field of expert finding in CQA. Moreover, we use innovative diagrams to clarify several important concepts of ensemble learning, and find that ensemble models with several specific single models can further boosting the performance. Further, we compare the performance of different models on different types of matching tasks, including text vs. text, graph vs. text, audio vs. text and video vs. text. The results can help the model selection of expert finding in practice. Finally, we explore some potential future issues in expert finding research in CQA.

研究の動機と目的

• コミュニティ質問応答（CQA）におけるエキスパート検出の最先端手法を体系的にレビューし、分類すること。
• 四つのモデルカテゴリ—MFベース、GBTベース、DLベース、Rベース—が、テキスト対テキスト、グラフ対テキストなど多様なマッチングタスクでどのように性能を発揮するかを評価すること。
• ByteCupコンペティションで上位を占めたチームが採用したアンサンブル学習戦略を分析し、モデル性能に与える影響を評価すること。
• スパースデータ、暗黙のフィードバック、モデルの説明可能性といった、CQAにおけるエキスパート検出の主な課題を特定すること。
• 異なるマッチングタイプとモデルファミリーにおける性能比較を通じて、実践的なモデル選定を支援すること。

提案手法

• 論文は、CQAにおけるエキスパート検出ソリューションを四つのカテゴリに分類する：行列分解（MFベース）、勾配ブースティングツリー（GBTベース）、ディープラーニング（DLベース）、ランク付け（Rベース）のモデル。
• 各モデルタイプの性能をByteCup 2016コンペティションデータセットを用いて評価し、ローカルバリデーションを用いてテキスト、グラフ、音声、動画のマッチングタスクで性能を測定する。
• ByteCupコンペティションの上位5チームが採用したアンサンブル学習戦略を分析し、モデルの多様性やスタッキングの概念を明確にするために革新的な図を用いる。
• AUCスコアを用いて性能を測定し、例えばテキスト対テキスト、音声対テキストなどの異なるマッチングタイプおよびモデルの組み合わせごとに結果を報告する。
• 単一モデルとアンサンブルモデルを比較し、多様なモデルを組み合わせることで、個々のコンポonentよりも高い性能が達成されることを示す。
• 実世界のCQAデータ（toutiao：5億8000万人のユーザー）を用いることで、研究の実用的妥当性と結果の頑健性を保証する。

実験結果

リサーチクエスチョン

• RQ1 テキスト対テキストのマッチングタスクにおいて、MFベース、GBTベース、DLベース、Rベースのモデルの中で、どのカテゴリがエキスパート検出で最も優れた性能を発揮するか？
• RQ2 アンサンブル学習は個々のモデルと比較して、エキスパート検出の性能をどのように向上させるのか？また、効果的なアンサンブルを構築するための主な設計原則は何か？
• RQ3 テキスト対テキスト、グラフ対テキスト、音声対テキスト、動画対テキストといった多様なマッチングタイプにおいて、異なるモデルファミリーの相対的な強みは何か？
• RQ4 なぜMFベースのモデルはスパースなCQAデータ環境で他のモデルを上回るのか？これはモデル選定にどのような示唆をもたらすか？
• RQ5 暗黙のフィードバック統合、モデルの説明可能性、モデル再利用性といった、エキスパート検出における主な未解決課題は何か？

主な発見

• MFベースのモデルは単一モデルの中で最高の性能を発揮し、AUCスコアは0.3665から0.4119の範囲にのぼり、特にテキスト対テキストのマッチングタスクで他を上回った。
• アンサンブルモデルは個々のモデルを著しく上回り、AUCスコアは0.49003から0.50812の範囲に達し、モデルの組み合わせの力が顕著に示された。
• DLベースのモデルはグラフ対テキストおよび動画対テキストのマッチングで最も優れた性能を示し、複雑なデータからの高次元特徴を捉える能力を活かした。
• GBTベースのモデルは音声対テキストのマッチングで強く、音声データを含むマルチモーダルタスクに適していることが示された。
• 弱い個々のモデルでさえ、多様なモデルと組み合わせることで正の寄与を示し、アンサンブル学習が堅牢性と正確性を向上させることを裏付けた。
• 本研究は、どの単一のモデルも全タスクで優位に立つことはなく、モデル選定はマッチングタイプとデータモダリティに応じて行われるべきであることを確認した。