[論文レビュー] Deep Feature Fusion Network for Answer Quality Prediction in Community Question Answering

Sai Praneeth Suggu, Kushwanth Naga Goutham+2 more|arXiv (Cornell University)|Jun 22, 2016

Expert finding and Q&A systems参考文献 25被引用数 8

ひとこと要約

本稿では、コミュニティQAフォーラムにおける回答品質予測のため、Wikipedia、GCD、クリックスルーデータなど外部リソースからの手作業特徴（HCF）と、CNNを用いて学習された深層特徴を統合するハイブリッドモデル、Deep Feature Fusion Network（DFFN）を提案する。DFFNは、純粋なHCFおよび純粋な深層学習ベースラインを上回り、言語的・意味的・行動的信号を深層ニューラルネットワークを用いて効果的に統合することにより、SemEval-2015およびSemEval-2016ベンチマークで最先端の性能を達成した。

ABSTRACT

Community Question Answering (cQA) forums have become a popular medium for soliciting direct answers to specific questions of users from experts or other experienced users on a given topic. However, for a given question, users sometimes have to sift through a large number of low-quality or irrelevant answers to find out the answer which satisfies their information need. To alleviate this, the problem of Answer Quality Prediction (AQP) aims to predict the quality of an answer posted in response to a forum question. Current AQP systems either learn models using - a) various hand-crafted features (HCF) or b) use deep learning (DL) techniques which automatically learn the required feature representations. In this paper, we propose a novel approach for AQP known as - "Deep Feature Fusion Network (DFFN)" which leverages the advantages of both hand-crafted features and deep learning based systems. Given a question-answer pair along with its metadata, DFFN independently - a) learns deep features using a Convolutional Neural Network (CNN) and b) computes hand-crafted features using various external resources and then combines them using a deep neural network trained to predict the final answer quality. DFFN achieves state-of-the-art performance on the standard SemEval-2015 and SemEval-2016 benchmark datasets and outperforms baseline approaches which individually employ either HCF or DL based techniques alone.

研究の動機と目的

• コミュニティQA（cQA）フォーラムにおける低品質または不適切な回答の問題に対処すること。
• 手作業特徴（HCF）と深層学習（DL）モデルの長所を組み合わせることで、回答品質予測（AQP）を向上させること。
• 多様な外部知識ソースと深層ニューラル表現を統合する包括的なフレームワークを構築し、より良い品質スコアリングを実現すること。
• 標準的なAQPベンチマークにおいて、従来のHCFオンリーおよびDLオンリーのアプローチを上回ること。

提案手法

• DFFNは、質問-回答ペアから畳み込みニューラルネットワーク（CNN）を用いて独立して深層特徴を学習する。
• 外部リソースを用いて手作業特徴を計算する：Wikipedia（エンティティリンク用）、Google Cross-Lingual Dictionary（GCD）、クリックスルーデータ、および文ベクトル（Sent2Vec）埋め込み。
• GCDおよびWikipediaベースのエンティティリンクにより、意味的・構文的類似度が捉えられ、クリックスルーデータおよびSent2Vecにより、クエリレベルの意味的整合性が得られる。
• 深層ニューラルネットワークが、CNNから得られる深層特徴と手作業特徉を統合し、最終的な回答品質スコアを予測する。
• 教師あり学習を用いてラベル付きcQAデータセット上で、回答品質予測を最適化するように、エンドツーエンドでモデルを訓練する。
• 特徴統合は表現レベルで行われ、HCFとDL特徴間の複雑な相互作用をネットワークが学習可能となる。

実験結果

リサーチクエスチョン

• RQ1 手作業特徴と深層ニューラル特徴を組み合わせることで、単独で使用する場合と比較して、回答品質予測のパフォーマンスが向上するか。
• RQ2 Wikipedia、GCD、クリックスルーデータなどの外部知識ソースは、AQPにおける意味的・構文的信号表現の強化にどの程度有効か。
• RQ3 複数の異種特徴タイプを統合する深層ニューラルネットワークアーキテクチャは、CNNやHCFに依存するモデルを上回るか。
• RQ4 特定の特徴、例えばTagMeによるエンティティリンクやSent2Vecによる文類似度は、曖昧または皮肉な回答ケースでの正しく分類にどの程度寄与するか。
• RQ5 行動的信号（例：著者レピュテーション、応答パターン）と意味的特徴を統合することで、リソースが限られたりノイズが多いcQA環境でも耐性が向上するか。

主な発見

• DFFNは、SemEval-2015およびSemEval-2016コミュニティQAフォーラムの回答品質予測ベンチマークで、最先端のパフォーマンスを達成した。
• 純粋なHCFまたは純粋な深層学習モデルを使用するベースラインシステムよりも優れた性能を示し、特徴統合の有効性を実証した。
• 定性的分析において、DFFNはベースラインが失敗する場面でも高品質な回答を正しく特定した。特に、GCDやTagMe特徴がエンティティ間の意味的リンク（例：配送サービス、torrentソフトウェア）を捉えている場合に顕著だった。
• Sent2Vecとクリックスルーデータの統合により、表面形が異なる場合でも意味的共起性が高いクエリに対してパフォーマンスが向上した。
• 皮肉や類似回答の処理において、DFFNは耐性を示したが、文レベル特徴からの高い類似度に過剰に依存することで、誤分類を起こす場合もあった。
• モデルのパフォーマンスは特徴のバランスに敏感である。著者レピュテーションや応答パターン特徴が中立的である場合、文レベル特徴による強い意味的類似度に起因して、DFFNは誤分類を起こす可能性がある。