[論文レビュー] Answer Sequence Learning with Neural Networks for Answer Selection in Community Question Answering

Xiaoqiang Zhou, Baotian Hu+3 more|arXiv (Cornell University)|Jun 22, 2015

Expert finding and Q&A systems参考文献 18被引用数 24

ひとこと要約

本稿では、質問への回答の選択を、質問と回答の同時表現を学習する畳み込みニューラルネットワーク（CNNs）と、回答の順序的依存関係をモデル化する長短期記憶（LSTM）ネットワークを組み合わせることで、系列ラベル付けタスクとして扱うR-CNNというニューラルネットワークモデルを提案する。この手法は、SemEval 2015 CQAデータセットにおいて、マクロF1スコア56.14%を達成し、回答の順序からの文脈を効果的に活用することで、既存手法を上回る最先端の性能を発揮した。

ABSTRACT

In this paper, the answer selection problem in community question answering (CQA) is regarded as an answer sequence labeling task, and a novel approach is proposed based on the recurrent architecture for this problem. Our approach applies convolution neural networks (CNNs) to learning the joint representation of question-answer pair firstly, and then uses the joint representation as input of the long short-term memory (LSTM) to learn the answer sequence of a question for labeling the matching quality of each answer. Experiments conducted on the SemEval 2015 CQA dataset shows the effectiveness of our approach.

研究の動機と目的

• 質問の応答系列における連続する回答同士の意味的相関を無視する既存の回答選択手法の限界を是正すること。
• 再帰的ニューラルネットワークを用いて回答の順序構造をモデル化することで、回答選択のパフォーマンスを向上させること。
• 畳み込みニューラルネットワークを用いて質問-回答ペアの統合分散表現を学習し、より豊かな意味的一致を実現すること。
• 先行する応答からの文脈的情報を活用することで、曖昧または中程度の質の回答（例：'Potential'ラベル）の分類を強化すること。
• 現実世界のCQAデータに見られる不均衡な回答品質分布を扱う上で、ハイブリッドCNN-LSTMアーキテクチャの有効性を示すこと。

提案手法

• モデルは、系列内の各ステップにおける質問-回答ペアを、事前学習済みの単語埋め込みで符号化する。
• 畳み込みニューラルネットワーク（CNNs）を用いて、各質問-回答ペアの統合表現を学習し、階層的な文構造や一致パターンを捉える。
• 学習された統合表現を、長短期記憶（LSTM）ネットワークに供給し、回答系列全体の依存関係をモデル化し、各回答の品質ラベルを予測する。
• LSTMは回答を順番に処理し、隣接する回答からの文脈的情報を隠れ状態に統合することで、分類精度を向上させる。
• LSTMの出力にソフトマックス層を設け、各回答の一致品質（Good, Bad, Potential）を予測する。
• モデルは、交差エントロピー損失と確率的勾配降下法を用いて、SemEval 2015 CQAデータセット上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 回答の順序的構造をモデル化することで、コミュニティ質問応答（CQA）における回答選択のパフォーマンスが向上するか？
• RQ2 LSTMを用いて回答間の長距離依存関係を組み込むことで、曖昧または中程度の質の回答の分類が改善されるか？
• RQ3 CNNからの統合表現は、従来の特徴ベースの手法と比較して、質問と回答の意味的関連性をどの程度よく捉えられるか？
• RQ4 不均衡なCQAデータセットにおいて、R-CNNモデルは既存の最先端手法をどの程度上回るか？
• RQ5 CNNベースの統合表現とLSTMベースの系列モデリングの統合は、現実世界のCQAフォーラムにおけるノイズが多く、非形式的な言語を効果的に処理できるか？

主な発見

• R-CNNモデルは、SemEval 2015 CQAデータセットにおいて、マクロF1スコア56.14%を達成し、SVM、CRF、DBN、mDBN、CNNを含むすべてのベースライン手法を上回った。
• 特に'Potential'クラスにおいて最も顕著な改善を示し、F1スコア15.22%を達成した。これは、次に良い成績を示したmDBN（14.74%）を上回った。
• CNN（54.42% F1）との比較においても、LSTMによる回答系列の依存関係モデリングが回答選択に顕著な価値をもたらすことが示された。
• モデルはクラスの不均衡に対処できており、曖昧な性質を持つ'Potential'回答の特定において特に優れた性能を示した。
• CNNを用いた統合表現学習は、bag-of-wordsや浅い特徴ベースのモデルと比較して、より豊かな意味的一致パターンを捉えており、パフォーマンス向上に寄与した。
• 結果から、LSTMによる順序的文脈の活用が、特に文脈依存性や先行応答と意味的に関連する回答の再現率を向上させることを確認した。