[論文レビュー] On The Ingredients of an Effective Zero-shot Semantic Parser

Pengcheng Yin, John Wieting+2 more|arXiv (Cornell University)|Oct 15, 2021

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、合成学習データと実際のユーザー発話との間の分布的ギャップを、コンactなドメイン適応型文法、より強力な並び替え生成モデル、および高尤度の標準例の効率的サンプリングを用いて低減するゼロショット意味解析モデルを提案する。モデルは、ラベル付き学習データが一切不要な状況でも、ScholarおよびGeoベンチマークで最先端の性能を達成し、手動アノテーションを要する教師あり手法を上回る。

ABSTRACT

Semantic parsers map natural language utterances into meaning representations (e.g., programs). Such models are typically bottlenecked by the paucity of training data due to the required laborious annotation efforts. Recent studies have performed zero-shot learning by synthesizing training examples of canonical utterances and programs from a grammar, and further paraphrasing these utterances to improve linguistic diversity. However, such synthetic examples cannot fully capture patterns in real data. In this paper we analyze zero-shot parsers through the lenses of the language and logical gaps (Herzig and Berant, 2019), which quantify the discrepancy of language and programmatic patterns between the canonical examples and real-world user-issued ones. We propose bridging these gaps using improved grammars, stronger paraphrasers, and efficient learning methods using canonical examples that most likely reflect real user intents. Our model achieves strong performance on two semantic parsing benchmarks (Scholar, Geo) with zero labeled data.

研究の動機と目的

• 既存のゼロショット意味解析モデルが、実際のユーザー発話とは分布的に乖離した合成データに依存するという限界を是正すること。
• より洗練され多様な並び替えを生成する強力な並び替え生成モデルとドメイン固有の文法規則を用いることで、言語ギャップを低減すること。
• 事前学習言語モデルの尤度確率を用いて、最も可能性の高い標準例のみをサンプリングすることで論理的ギャップを軽減し、学習データの指数的増加を回避すること。
• コンactで表現力のある文法が、大規模で手作業で作成された文法を上回ることを示すこと。
• ラベル付き学習データや検証データを一切使用せずに、強力なゼロショット性能を達成し、教師ありベースラインを上回ること。

提案手法

• より洗練された言語パターンを捉えるために、46のドメイン一般規則と少数のドメイン固有規則を有する、小型で表現力のある同期的文脈自由文法（SCFG）を設計する。
• 事前学習言語モデルを用いて、標準的発話-プログラムペアの尤度を推定し、尤度の高い現実的で妥当な例の効率的サンプリングを可能にする。
• ニューラル並び替え生成モデルを用いて、標準的発話を多様な言語的バリエーションに変換し、自然言語の多様性をカバー範囲を広げる。
• 以前の反復で学習したパーサーを用いて、ノイズが多いまたは低品質な並び替えをフィルタリングすることで、反復的にデータ品質を向上させる。
• フィルタリングおよび並び替え処理を施した合成データ上で、文法と言語モデルの尤度確率のみを用いて、意味解析モデルをエンドツーエンドで訓練する。
• 新たに生成された高品質な並び替え例を再利用して反復的にパーサーを再訓練することで、実際のユーザー発話への一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 コンactでドメイン適応型の文法は、ゼロショット意味解析における合成発話と実際のユーザー発話との間の言語ギャップを低減できるか？
• RQ2 事前学習言語モデルの尤度確率を用いて、高尤度の標準例をサンプリングすることで、全列挙を避けて論理的ギャップを効果的に埋められるか？
• RQ3 より強力な並び替え生成モデルと効率的なフィルタリングは、手作業または表現力が低い手法と比較して、ゼロショット性能をどの程度向上できるか？
• RQ4 合成データのみで学習したゼロショットパーサーは、ラベル付きデータを必要とする教師ありベースラインを上回る性能を示せるか？
• RQ5 言語ギャップと論理ギャップが、実世界のベンチマークにおけるゼロショット意味解析モデルの一般化性能にどのように影響を与えるか？

主な発見

• 提案手法は、手動アノテーションを要するOverNightやGrannoといった教師あり手法を上回り、ScholarおよびGeoベンチマークで最先端の性能を達成した。
• わずか46の一般規則と少数のドメイン固有規則を有するコンactでドメイン適応型の文法を用いることで、大規模で手作業で作成された文法よりも洗練され多様な発話を生成できた。
• 事前学習言語モデルの尤度確率を用いて最も可能性の高い標準例のみをサンプリングすることで、学習データ量を削減しつつも高い論理的カバレッジを維持し、モデル性能を向上させた。
• 並び替え生成モデルの精度は、尤度が低いか自然でない例では約30％に低下し、低尤度サンプルからのノイズの多い並び替えがモデル性能を劣化させることを示している。
• フィルタリング機構によりノイズの多い並び替えは減少したが、尤度が低い例では誤検出（誤ってノイズと判定されない例）が依然として課題であり、自然さモデリングの改善の余地があることを示唆している。
• 強力な結果を示したが、依然として複雑な論理的パターンの処理に苦労しており、論理的ギャップはゼロショット意味解析における重要な課題のままである。