[論文レビュー] Review Conversational Reading Comprehension

Hu Xu, Bing Liu+2 more|arXiv (Cornell University)|Feb 3, 2019

Topic Modeling参考文献 35被引用数 16

ひとこと要約

本稿では、オンラインレビューを用いて複数回にわたる顧客の質問に答えるための新しいタスクである『Review Conversational Reading Comprehension (RCRC)』を紹介する。本研究では、アノテートされていないQAペアとレビューを活用するタスクに特化した事前チューニング手法を提案し、RCRCデータセットにおけるアノテーションデータが限られている状況でも、CoQAでスクラッチで微調整したBERTと同等の性能を達成している。

ABSTRACT

Inspired by conversational reading comprehension (CRC), this paper studies a novel task of leveraging reviews as a source to build an agent that can answer multi-turn questions from potential consumers of online businesses. We first build a review CRC dataset and then propose a novel task-aware pre-tuning step running between language model (e.g., BERT) pre-training and domain-specific fine-tuning. The proposed pre-tuning requires no data annotation, but can greatly enhance the performance on our end task. Experimental results show that the proposed approach is highly effective and has competitive performance as the supervised approach. The dataset is available at \url{https://github.com/howardhsu/RCRC}

研究の動機と目的

• 構造化されていないオンラインレビューを用いて、製品に関する複数回にわたる顧客の質問に答える課題に対処すること。
• レビューに基づく質問応答において、小規模なアノテート済みデータセットという制約を克服するため、追加のアノテーションを必要としない事前チューニング手法を導入すること。
• 過去のやり取りの文脈的理解を活用して動的にフォローアップ質問に答えることができる会話型読解理解エージェントを開発すること。
• 高価な人手によるQAデータに依存せずに、一般言語事前学習とドメイン特化型RCRCの間のギャップを埋めること。

提案手法

• BERTの事前学習とドメイン特化型微調整の間に、アノテートされていないレビュー本文とQAペアのデータのみを用いて、タスクに特化した事前チューニングステップを新たに提案する。
• 過去の質問・回答、現在の質問、レビュー本文を1つの入力系列に統合するテキスト入力フォーマットを設計する。
• 2段階の訓練プロセスを適用する：まず、一般QAペアとレビューで事前チューニングを行いタスク認識を注入し、その後RCRCデータセットで微調整する。
• アルゴリズム1を用いて、事前チューニング用に関連するQAペアとレビューをサンプリングし、バリデーションセットを用いてハイパーパrameterを最適化する。
• 最大シーケンス長256、文脈＋質問長が96トークンまで制限されるBERT-baseを用い、事前チューニング段階で10,000ステップ訓練する。
• Turn単位のExact Match (EM) および F1スコアを用いて性能を評価し、DrQA や CoQA で微調整したBERTといった教師ありベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 人手によるRCRCデータが一切ない状況でも、事前チューニング手法が低リソースRCRCタスクの性能を顕著に向上させられるか？
• RQ2 小規模なRCRCデータセットに対して直接微調整するBERTと比較して、タスクに特化した事前チューニングはどのように性能を発揮するか？
• RQ3 一般QAペアとレビューで事前チューニングする方法が、単にレビューのみで直接微調整するドメイン適応法よりも優れているか？
• RQ4 アノテート済みのCoQAのような一般QAデータで事前学習したモデルが、アノテーションを一切使用しない事前チューニング手法に劣ることはあるか？
• RQ5 提案されたRCRCシステムにおける主な誤りパターンは何か。また、どこで失敗しているのか？

主な発見

• 提案手法のBERT+Pre-tuningは、ラップトップドメインで46.0%のEM、57.23%のF1を達成し、RCRCデータセットに直接微調整したBERT（38.57% EM、48.67% F1）よりもEMで7.4ポイント高い性能を示した。
• レストランドメインでは、BERT+Pre-tuningが54.57%のEM、64.43%のF1を達成し、直接微調整したBERT（46.87% EM、55.07% F1）よりも7.7%の向上を示した。
• 事前チューニング手法は、108,000件のアノテート済みターンを含む教師ありのBERT+CoQAと同等の性能を達成しており、RCRC用のアノテーションは一切不要であった。
• ドメイン適応のみ（BERT+review）の手法は性能が低下（34.53% EM 対 38.57% EM）しており、ドメイン固有の微調整だけでは不十分であることが示された。
• 誤り解析から、スパンの位置特定と境界予測が主な失敗要因であることが判明し、スパン抽出の正確性向上に余地があることが示唆された。
• 限られたRCRCデータでも、タスクに特化した事前チューニングが有効であることが示され、事前学習と下流タスクの性能ギャップを顕著に縮められることを実証した。