[論文レビュー] AutoQA: From Databases To QA Semantic Parsers With Only Synthetic Training Data

Silei Xu, Sina J. Semnani+2 more|arXiv (Cornell University)|Oct 9, 2020

Natural Language Processing Techniques参考文献 42被引用数 4

ひとこと要約

AutoQA は、手動でのアノテーションや人間による言い換えを一切必要とせず、合成データのみを用いてデータベース上の質問応答のための意味解析器を自動生成する完全自動化ツールキットです。自動言い換えとフィルタリングを施した自己言い換え生成器を活用して、多様で高品質な学習例を生成し、Schema2QA では論理形式の正確さが 62.9%、Overnight では回答の正確さが 69.8% を達成。それぞれ専門家がアノテートしたデータで学習したモデルと比べて、6.4% および 5.2% 以内の性能にとどまっています。

ABSTRACT

We propose AutoQA, a methodology and toolkit to generate semantic parsers that answer questions on databases, with no manual effort. Given a database schema and its data, AutoQA automatically generates a large set of high-quality questions for training that covers different database operations. It uses automatic paraphrasing combined with template-based parsing to find alternative expressions of an attribute in different parts of speech. It also uses a novel filtered auto-paraphraser to generate correct paraphrases of entire sentences. We apply AutoQA to the Schema2QA dataset and obtain an average logical form accuracy of 62.9% when tested on natural questions, which is only 6.4% lower than a model trained with expert natural language annotations and paraphrase data collected from crowdworkers. To demonstrate the generality of AutoQA, we also apply it to the Overnight dataset. AutoQA achieves 69.8% answer accuracy, 16.4% higher than the state-of-the-art zero-shot models and only 5.2% lower than the same model trained with human data.

研究の動機と目的

• データベース上の質問応答のための意味解析器を学習する際の、手動によるデータアノテーションの高コストを解消すること。
• 専門家がアノテートした論理形式やクラウドワーカーが生成した言い換えを一切必要としない、完全自動化されたパイプラインを構築すること。
• 自動言い換えを用いて拡張した合成データが、人間がアノテートしたデータで学習したモデルと同等の性能を達成できるかどうかを評価すること。
• 知識ベースやウェブスクリプトデータセットを含む、多様なデータベースや論理形式にわたる一般化性能を示すこと。

提案手法

• AutoQA は事前学習済みの言い換え生成モデルを用いて、品詞の異なる部分でデータベースの属性を代替表現で自動アノテートする。
• テンプレートベースのデータ合成を適用し、アノテートされた属性から、複雑で多様な質問の大量セットを生成する。
• BART をベースにした新規なフィルタリング付き自己言い換え生成器を採用。この生成器は自然な文の言い換えを生成し、フィルタリングにより意味的整合性を保証。具体的には、言い換えられた文が元の文と同じ論理形式にマッピングされることを検証する。
• フィルタリング済みの言い換え文を反復的に用いて、自己学習により意味解析器を再訓練し、言語的変異に対する耐性を高める。
• 最終的な解析器は、合成データ、自動アノテーション済みデータ、自動言い換え済みデータのみを用いて学習された BERT-LSTM モデルである。
• パイプラインは、論理形式の正確さと回答の正確さを指標として、Schema2QA および Overnight ベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 人間がアノテートした例が一切ない合成学習データのみで、高精度な意味解析器を学習できるか？
• RQ2 特に意味的正しさをフィルタリングした自動言い換えは、未観測の自然言語質問に対する一般化性能をどの程度向上させるか？
• RQ3 言い換えモデルを用いた属性の自動アノテーションは、手動による属性の同義語のキュレーションをどの程度置き換えられるか？
• RQ4 人間がアノテートした言い換えを用いて学習した最先端モデルと比較して、完全に合成データで構築されたパイプラインの性能はどの程度か？

主な発見

• Schema2QA データセットでは、AutoQA は自然な質問に対して 62.9% の論理形式正確さを達成。専門家がアノテートしたデータと人間による言い換えを用いて学習したモデルと比べて、6.4% 低いが、ほぼ同等の性能である。
• Overnight ベンチマークでは、AutoQA は 69.8% の回答正確さと 55.6% の論理形式正確さを達成。最先端のゼロショットモデルと比較して、それぞれ 16.4 パーセンテージポイントおよび 18.6 パーセンテージポイントの優位性を示した。
• 自動アノテーションとフィルタリング付き自己言い換えを組み合わせた完全な AutoQA パイプラインは、それぞれのコンponent単体よりも優れた性能を示し、自己言い換えのみのパイプラインに比べて 6.4%、自動アノテーションのみのパイプラインに比べて 8.3% の向上を達成した。
• フィルタリングを行わない自己言い換え生成器を用いると、正確さが 18% 減少する結果となり、合成データ生成における意味的整合性のフィルタリングの必要性を示している。
• Overnight データセットでは、ドメイン内の人間による言い換えを用いて学習したモデルと比較して、AutoQA の性能は 5.2% 以内に収まり、強力なゼロショット一般化性能を示している。
• 本手法は、異なるデータベーススキーマや論理形式にわたって一般化可能であり、ウェブ規模のスキーマデータや知識ベースデータセットの両方で有効であることが示された。