[論文レビュー] Word Embedding based Correlation Model for Question/Answer Matching

Yikang Shen, Wenge Rong+4 more|arXiv (Cornell University)|Nov 15, 2015

Expert finding and Q&A systems被引用数 13

ひとこと要約

本稿では、翻訳モデルと密な単語埋め込みを組み合わせることで、コミュニティ質問応答（CQA）システムにおける質問-回答一致を向上させる、単語埋め込みベースの相関（WEC）モデルを提案する。Q&Aペアから学習された低次元で密な翻訳行列を用いることで、WECは単語レベルの同時発生確率を捉え、連続的ベクトル空間の滑らかさを活用して希少語のペアへの一般化を実現し、Yahoo! AnswersおよびBaidu Zhidaoデータセットにおいて、最先端のモデルを上回る性能を発揮する。

ABSTRACT

With the development of community based question answering (Q&A) services, a large scale of Q&A archives have been accumulated and are an important information and knowledge resource on the web. Question and answer matching has been attached much importance to for its ability to reuse knowledge stored in these systems: it can be useful in enhancing user experience with recurrent questions. In this paper, we try to improve the matching accuracy by overcoming the lexical gap between question and answer pairs. A Word Embedding based Correlation (WEC) model is proposed by integrating advantages of both the translation model and word embedding, given a random pair of words, WEC can score their co-occurrence probability in Q&A pairs and it can also leverage the continuity and smoothness of continuous space word representation to deal with new pairs of words that are rare in the training parallel text. An experimental study on Yahoo! Answers dataset and Baidu Zhidao dataset shows this new method's promising potential.

研究の動機と目的

• 質問と回答で異なるが意味的に関連する語が使用される際の語彙ギャップ問題に対処すること。
• 次元の呪いや希少語に対する一般化能力の低さといった、従来の翻訳モデルの限界を克服すること。
• 単語埋め込みの連続性と滑らかさを活用して、Q&A一致における未観測または希少語ペアの一般化を向上させること。
• 統計的翻訳モデルと意味的単語埋め込みの長所を統合したハイブリッドモデルを構築し、より優れた一致性能を達成すること。
• 実世界のCQAデータセット上でモデルを評価し、既存の最先端手法を上回ることを実証すること。

提案手法

• 質問語 q_i と回答語 a_j の同時発生確率を推定する単語レベルの相関関数 C(q_i, a_j) を提案し、学習済みの密な翻訳行列 M を用いる。
• 事前学習済みの単語埋め込みを用いて、連続的ベクトル空間における語の表現を可能にし、希少または未観測語ペアへの滑らかな一般化を実現する。
• 文レベルの相関関数 C(q, a) を構築し、単語レベルの相関を集約することで、全体のQ&A関連性を推定する。
• 微分可能な目的関数を用いて、並列Q&Aコーパス上で一致精度を最大化することで、翻訳行列 M を学習する。
• WECモデルと畳み込みニューラルネットワーク（CNN）を組み合わせ、語彙的および構文的特徴を併用して一致性能を向上させる。
• 語ベクトル間の意味的関係をモデル化するため、相関関数にコサイン類似度を非線形活性化関数として採用する。

実験結果

リサーチクエスチョン

• RQ1 低次元で密な翻訳行列は、スパースな離散的翻訳モデルに代わって、Q&Aペアにおける単語レベルの同時発生確率を効果的にモデル化できるか？
• RQ2 単語埋め込みの連続性は、Q&A一致における希少語または未観測語ペアの一般化をどの程度向上できるか？
• RQ3 単語レベルの相関と文レベルの集約を組み合わせることで、単体のモデルに比べて一致性能が向上するか？
• RQ4 Yahoo! AnswersおよびBaidu Zhidaoといった実世界のCQAデータセットにおいて、WECモデルは最先端手法に比べてどの程度の性能を示すか？
• RQ5 WECとCNNを統合することで、構文的および局所的な語彙的パターンを捉えることができ、一致精度がさらに向上するか？

主な発見

• WECモデルは、Yahoo! AnswersおよびBaidu Zhidaoデータセットの両方で、既存の最先端モデルを上回る性能を示した。
• WEC+CNNの変種は、テキストからの意味的相関と構文的特徴を併用することで、優れた性能を達成した。
• 連続的単語表現の滑らかさのおかげで、希少語ペアに対する強い一般化能力を示した。
• 学習済みの翻訳行列 M は、学習データで正確な同時発生が稀な場合でも、語間の意味的関係を効果的に捉えた。
• 単語埋め込みと翻訳モデリングを統合することで、従来の統計的翻訳モデルのみに依存する場合よりも、より強固で正確な相関推定が可能になった。
• このアプローチは、ソーシャルメディアコンテンツのコメント選択など、他の並列テキスト検出タスクへも応用可能である。