[論文レビュー] Schema2QA: High-Quality and Low-Cost Q&A Agents for the Structured Web

Silei Xu, Giovanni Campagna+2 more|arXiv (Cornell University)|Jan 16, 2020

Topic Modeling参考文献 41被引用数 9

ひとこと要約

Schema2QA は、データベーススキーマと最小限のフィールドアノテーションのみを用いて、構造化Webデータ向けの高精度・低コストの質問応答エージェントを構築できるオープンソースのツールキットです。汎用テンプレートから数千もの複合質問を合成し、合成データおよび言い換えデータ上でBERT-LSTMモデルをファインチューニングすることで、5つのSchema.orgドメインにおけるクラウドソーシングされた質問で64–75%の精度を達成し、複雑で長尾なクエリにおいて商用アシスタントを上回ります。

ABSTRACT

Building a question-answering agent currently requires large annotated datasets, which are prohibitively expensive. This paper proposes Schema2QA, an open-source toolkit that can generate a Q&A system from a database schema augmented with a few annotations for each field. The key concept is to cover the space of possible compound queries on the database with a large number of in-domain questions synthesized with the help of a corpus of generic query templates. The synthesized data and a small paraphrase set are used to train a novel neural network based on the BERT pretrained model. We use Schema2QA to generate Q&A systems for five Schema.org domains, restaurants, people, movies, books and music, and obtain an overall accuracy between 64% and 75% on crowdsourced questions for these domains. Once annotations and paraphrases are obtained for a Schema.org schema, no additional manual effort is needed to create a Q&A agent for any website that uses the same schema. Furthermore, we demonstrate that learning can be transferred from the restaurant to the hotel domain, obtaining a 64% accuracy on crowdsourced questions with no manual effort. Schema2QA achieves an accuracy of 60% on popular restaurant questions that can be answered using Schema.org. Its performance is comparable to Google Assistant, 7% lower than Siri, and 15% higher than Alexa. It outperforms all these assistants by at least 18% on more complex, long-tail questions.

研究の動機と目的

• 質問応答エージェントのための高コストなアノテート済み学習データを減らすために、手動ラベルの最小限化を図ること。
• 実際のユーザーデータがなくても、標準化されたスキーマを用いて任意のウェブサイト向けに正確なQ&Aエージェントを構築できるようにすること。
• 神経ネットワークモデルが合成データとトランスファーラーニングを用いてドメインを越えて一般化できるかどうかを示すこと。
• 音声対応でスキーマベースのバーチャルアシスタントを構築するためのオープンで拡張可能なパイプラインを構築すること。
• 特許データがなくとも、商用アシスタントと同等のパフォーマンスを、複雑で長尾な質問に対して達成すること。

提案手法

• システムは汎用自然言語テンプレートのセットを用いて、データベーススキーマから大規模な複合質問のコーパスを合成する。
• 各データベースフィールドには、そのタイプと代表的なフレーズをいくつかアノテートして、質問生成を支援する。
• 合成質問と少量のヒューマン言い換えデータの組み合わせ上で、BERT-LSTMニューラルモデルをファインチューニングする。
• モデルは自然言語の質問を実行可能なThingTalkクエリにマッピングし、複数の述語を含む複雑な推論を可能にする。
• NL-schema Builderツールは、Schema.orgスキーマをSchema2QA形式に変換して、シームレスな統合を可能にする。
• レストランドメインからホテルドメインへのトランスファーラーニングを、追加の手動アノテーションなしで実施する。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークモデルが、合成データと最小限のスキーマアノテーションのみで高精度な質問応答を達成できるか？
• RQ2 汎用の質問テンプレートが、実世界のQ&Aに必要な複合クエリの領域を効果的にカバーできるか？
• RQ3 トランスファーラーニングが、新しいドメインにおける手動データ収集の必要性をどの程度低減できるか？
• RQ4 複雑で長尾な質問において、性能が商用バーチャルアシスタントと比べてどうなるか？
• RQ5 汎用的およびドメイン固有のコンponentを分離することで、アノテーション負荷を減らしつつ高精度を維持できるか？

主な発見

• Schema2QA は、5つのSchema.orgドメイン（レストラン、人物、映画、書籍、音楽）におけるクラウドソーシングされた質問で64–75%の精度を達成した。
• 複雑で長尾な質問において、Schema2QA はアレクサを18%、グーグルアシスタントを18%、Siriを18%上回った。
• 一般的なレストラン関連の質問では、Schema2QA はグーグルアシスタントの精度に並び、Siriのパフォーマンスから7%以内だった。
• レストランドメインでは、既知のプロパティに制限された質問では69.7%の精度を示し、オープンエンドの質問では59.8%に低下した。
• 誤差分析から、より良い名前付きエンティティ認識と追加の汎用テンプレートの導入により、精度を70%から約90%まで向上できる可能性がある。
• レストランドメインからホテルドメインへのトランスファーラーニングでは、追加の手動データ収集なしで64%の精度が得られた。