[論文レビュー] FAQ Retrieval using Query-Question Similarity and BERT-Based Query-Answer Relevance

Wataru Sakata, Tomohide Shibata+2 more|arXiv (Cornell University)|May 8, 2019

Topic Modeling参考文献 14被引用数 5

ひとこと要約

本稿では、TSUBAKIを用いた教師なしクエリ-質問（q-Q）類似度と、BERTを用いたクエリ-回答（q-A）関連性スコアリングを組み合わせることで、FAQ検索性能を向上させるハイブリッドFAQ検索システムを提案する。限られた学習データを、類似したFAQデータセットを活用することで拡張することで、日本語の自治体FAQおよび英語のStackExchangeデータセットの両方で最先端の結果を達成し、MAP、MRR、P@5の指標においてベースラインを上回った。

ABSTRACT

Frequently Asked Question (FAQ) retrieval is an important task where the objective is to retrieve an appropriate Question-Answer (QA) pair from a database based on a user's query. We propose a FAQ retrieval system that considers the similarity between a user's query and a question as well as the relevance between the query and an answer. Although a common approach to FAQ retrieval is to construct labeled data for training, it takes annotation costs. Therefore, we use a traditional unsupervised information retrieval system to calculate the similarity between the query and question. On the other hand, the relevance between the query and answer can be learned by using QA pairs in a FAQ database. The recently-proposed BERT model is used for the relevance calculation. Since the number of QA pairs in FAQ page is not enough to train a model, we cope with this issue by leveraging FAQ sets that are similar to the one in question. We evaluate our approach on two datasets. The first one is localgovFAQ, a dataset we construct in a Japanese administrative municipality domain. The second is StackExchange dataset, which is the public dataset in English. We demonstrate that our proposed method outperforms baseline methods on these datasets.

研究の動機と目的

• FAQ検索におけるクエリ-QA関連性のラベル付けにかかる高コストを軽減すること。
• 教師なしq-Q類似度とBERTベースのq-A関連性を組み合わせることで、FAQ検索性能を向上させること。
• 類似したFAQセットの収集と活用により、小規模なFAQデータセットにおけるデータ不足を克服すること。
• 分野や言語を問わず適用可能な、強固で高性能なFAQ検索システムの開発。

提案手法

• OKAPI BM25に基づく教師なし検索システムであるTSUBAKIを用い、クエリ-質問（q-Q）類似度を計算する。
• QAペアからq-A関連性を学習するため、BERTを文対分類器として適用する。
• 正しいQAペアをペairingし、ランダムにネガティブな回答をサンプリングすることで、ポジティブおよびネガティブな学習ペアを構築する。
• 複数の類似したFAQデータセットを活用し、BERTの学習データ量を増加させ、データ不足を緩和する。
• 最終的なランク付けのために、q-Q類似度スコアとq-A関連性スコアを早期連結と後期相互作用の両方で統合する。
• 大規模なFAQコレクションにおけるスケーラビリティを確保するため、テレスコピック検索設定を採用する。

実験結果

リサーチクエスチョン

• RQ1 教師なしq-Q類似度とBERTベースのq-A関連性を組み合わせることで、FAQ検索性能を向上させることができるか？
• RQ2 学習データが限られた規模である場合に、BERTがq-A関連性を学習するのにどの程度効果的か？
• RQ3 類似したFAQセットを用いたデータ拡張が、モデルの一般化性能および性能を顕著に向上させることができるか？
• RQ4 ハイブリッドアプローチが、q-Q類似度またはq-A関連性に依存する手法を上回るか？

主な発見

• localgovFAQデータセットでは、提案手法がMAP 0.897、MRR 0.942、P@5 0.776を達成し、すべてのベースラインを上回った。
• StackExchangeデータセットでは、MAP 0.845、MRR 0.892、P@5 0.734を達成し、優れた一般化性能を示した。
• BERTベースのq-A関連性コンponentのみでも、localgovFAQでMAP 0.887を達成し、q-Q類似度がなくても有効であることが示された。
• localgovFAQにおいて、トップ1ランクで正しいQAペアを正しく検索できた割合は77.6%にのぼり、TSUBAKIおよびBERTオンリーベースラインを上回った。
• BERTの文脈的理解のおかげで、クエリと質問の間の語彙的ギャップが存在しても、関連するQAペアを正しく検索できた。
• 7つのGPUを用いて、1クエリあたり約2秒で実行可能であり、実用的な効率性を示した。