[論文レビュー] FAQ-based Question Answering via Word Alignment

Zhiguo Wang, Abraham Ittycheriah|arXiv (Cornell University)|Jul 9, 2015

Topic Modeling参考文献 15被引用数 38

ひとこと要約

本稿では、分散表現と学習された語の対応付けを活用して質問の類似度を計算する、FAQベースの質問応答のための語の対応付けに基づくニューラルネットワークモデルを提案する。スパース特徴量のブートストラップ最適化と学習による順序付け学習のアプローチを統合することで、多言語FAQマッチングおよび回答文選択タスクの両方で最先端の性能を達成し、スパース特徴量によってトップ-1正答率が5%向上し、TRECにおいても先行システムを顕著に上回った。

ABSTRACT

In this paper, we propose a novel word-alignment-based method to solve the FAQ-based question answering task. First, we employ a neural network model to calculate question similarity, where the word alignment between two questions is used for extracting features. Second, we design a bootstrap-based feature extraction method to extract a small set of effective lexical features. Third, we propose a learning-to-rank algorithm to train parameters more suitable for the ranking tasks. Experimental results, conducted on three languages (English, Spanish and Japanese), demonstrate that the question similarity model is more effective than baseline systems, the sparse features bring 5% improvements on top-1 accuracy, and the learning-to-rank algorithm works significantly better than the traditional method. We further evaluate our method on the answer sentence selection task. Our method outperforms all the previous systems on the standard TREC data set.

研究の動機と目的

• 語の表出形のばらつきが意味を曇らせるFAQベースの質問応答における意味的類似度の課題に対処すること。
• 意味的語彙集や大規模な並列質問セットに依存する従来手法の限界を克服すること。
• 単語の対応付けを用いて、モノリンガルデータのみを用いた低リソースで多言語対応のFAQ QAシステムを開発すること。
• 質問類似度タスクに特化した学習による順序付けアルゴリズムを用いて順序付け性能を向上させること。
• 本手法を多言語FAQアーカイブおよび標準のTREC回答文選択ベンチマークの両方で評価すること。

提案手法

• 質問と候補となる質問の間の類似度行列を、分散表現（例：word2vec）のコサイン距離を用いて語レベルの類似度を計算することで構築する。
• 類似度行列を用いて質問間の最適な語の対応付けを計算し、対応付けの位置とスコアを密度特徴として抽出する。
• ブートストラップに基づく特徴抽出法により、小さなFAQアーカイブにおいて過学習を防ぐために、効果的で小さなスパース語彙的特徴量の集合を特定する。
• 結合された密度特徴量とスパース特徴量を入力として受け取り、出力層にシグモイド関数を用いて[0,1]の範囲で類似度を予測するニューラルネットワークモデルを構築する。
• 二値分類ではなく順序付け性能を最適化する学習による順序付けアルゴリズムを用いてモデルを学習する。
• システムは英語、スペイン語、日本語のFAQアーカイブおよびTRECの回答文選択データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 分散表現から導出される語の対応付けを用いた質問間の対応付けは、低リソースなFAQ環境において意味的類似度を効果的に捉えることができるか？
• RQ2 小さなFAQアーカイブにおいて、最小限の情報量を持つスパース特徴量のセットを効果的に選択するためのブートストラップベースの手法はどの程度有効か？
• RQ3 従来の分類ベースの学習とは異なり、学習による順序付けの目的関数は、質問類似度順序付けタスクにおいて性能を向上させるか？
• RQ4 提案手法はどの程度多言語に一般化され、多言語FAQおよび回答文選択タスクにおいて既存のシステムを上回るか？

主な発見

• ブートストラップによるスパース特徴量抽出により、英語、スペイン語、日本語の全言語でトップ-1正答率が約5%向上した。
• 学習による順序付けアルゴリズムは、従来の分類ベースの学習を顕著に上回り、開発セットにおける順序付け性能が向上した。
• 300個の隠れニューロンを備えたニューラルネットワークが最良の性能を示し、非線形モデリングが類似度予測を向上させることを示した。
• TRECの回答文選択ベンチマークでは、MAPが0.746、MRRが0.820を達成し、すべての先行最先端システムを上回った。
• 「SparseHidden」モデル（密度特徴量 + スパース特徴量 + 300個の隠れニューロン）は、英語で52.04%、スペイン語で59.42%、日本語で70.29%のトップ-1正答率を達成した。