[論文レビュー] Neural Semantic Parsing in Low-Resource Settings with Back-Translation and Meta-Learning

Yibo Sun, Duyu Tang+5 more|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 28被引用数 6

ひとこと要約

この論文は、ルールベースの初期化、神経質な質問生成およびパースモデルを用いたバックトランスレーション、およびモデルに依存しないメタラーニング（MAML）を活用することで、一般化性能と頑健性を向上させる低リソースなニューラル意味解析フレームワークを提案する。フレーズテーブルを用いた品質制御により、反復的に合成された質問-プログラムペアを生成・フィルタリングすることで、WikiSQLで72.7%の実行精度を達成した。これは、実行結果の注釈付きで学習されたモデルと同等の性能を示しており、最小限の監視のもとで優れた性能を発揮していることを示している。

ABSTRACT

Neural semantic parsing has achieved impressive results in recent years, yet its success relies on the availability of large amounts of supervised data. Our goal is to learn a neural semantic parser when only prior knowledge about a limited number of simple rules is available, without access to either annotated programs or execution results. Our approach is initialized by rules, and improved in a back-translation paradigm using generated question-program pairs from the semantic parser and the question generator. A phrase table with frequent mapping patterns is automatically derived, also updated as training progresses, to measure the quality of generated instances. We train the model with model-agnostic meta-learning to guarantee the accuracy and stability on examples covered by rules, and meanwhile acquire the versatility to generalize well on examples uncovered by rules. Results on three benchmark datasets with different domains and programs show that our approach incrementally improves the accuracy. On WikiSQL, our best model is comparable to the SOTA system learned from denotations.

研究の動機と目的

• 注釈付きプログラムや実行結果が入手できない低リソース環境において、一般化性能に優れたニューラル意味解析器を開発すること。
• ドメインに依存しないルールと単語レベルのマッピングテーブルのみを用いて、解析器を初期化すること。
• ルールでカバーされる例におけるモデルの精度と頑健性を向上させるとともに、ルールでカバーされない未確認の例への一般化を可能にすること。
• 合成データのノイズを軽減するために、頻度の低い、おそらく誤りであるマッピングをフィルタリングするフレーズテーブルベースの品質制御を導入すること。

提案手法

• ルールによる注釈付き質問-プログラムペアを初期点として、意味解析器および質問生成器を初期化する。
• バックトランスレーションを適用する：解析器を用いて質問からプログラムを生成し、質問生成器を用いてプログラムから元の質問を再構築することで、合成された並列データを生成する。
• 頻度の高いマッピングパターンの動的フレーズテーブルを維持し、生成された例の品質を評価・フィルタリングすることで、ノイズと誤りを低減する。
• モデルに依存しないメタラーニング（MAML）を用いて、複数のデータソース（ルールでカバーされたデータ、フィルタリング済みの合成データ）を別々のタスクとして扱い、適応性と安定性を向上させる。
• 品質制御のフィードバックを活用して、フレーズテーブルとモデルパラメータを反復的に更新することで、データ品質とモデル性能を最適化する。
• 異なるデータソース（例：ルール付きデータ、生成データ）からタスクをサンプリングし、各タスクにおける迅速な適応を最適化することで、MAMLを用いて解析器を訓練する。

実験結果

リサーチクエスチョン

• RQ1 わずかに手作業で作成されたルールと、注釈付きプログラムや実行結果が一切ない状況下でも、ニューラル意味解析器を効果的に学習できるか？
• RQ2 バックトランスレーションにより生成された合成データは、どのようにしてノイズを低減し、モデルの信頼性を向上させられるか？
• RQ3 モデルに依存しないメタラーニング（MAML）は、ルールでカバーされる例における精度と、未確認の例への一般化性能を両方向上させられるか？
• RQ4 頻度の高いマッピングパターンのフレーズテーブルは、意味解析における生成訓練データの品質をどの程度向上させられるか？
• RQ5 バックトランスレーションとメタラーニングを組み合わせることで、実行結果の注釈付きで学習された教師ありシステムと同等の性能が達成できるか？

主な発見

• 提案手法は、WikiSQLベンチマークで72.7%の実行精度を達成した。これは、実行結果の注釈付きで学習された強力な教師ありシステム（74.8%）と同等の性能である。
• バックトランスレーションとフレーズテーブルベースの品質制御の統合により、頻度の低い、おそらく誤りであるマッピングをフィルタリングすることで、合成訓練データの信頼性が顕著に向上した。
• モデルに依存しないメタラーニングにより、ルールでカバーされる例において高い精度を維持するとともに、未確認のルール未カバー例への一般化が効果的に実現された。
• バックトランスレーション、品質制御、メタラーニングの段階的統合により、すべての3つのベンチマークデータセットで一貫した、測定可能な性能向上が得られた。
• このフレームワークは、低リソース環境における高い頑健性と適応性を示しており、ルールベースのベースラインを上回り、データが乏しい環境への導入に有望である。