[論文レビュー] Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing

Xilun Chen, Asish Ghoshal+3 more|arXiv (Cornell University)|Oct 7, 2020

Topic Modeling参考文献 31被引用数 5

ひとこと要約

本論文は、BARTベースの事前学習と最適化に基づくメタラーニング（Reptile）を用いた低リソースドメイン適応手法を提案し、教師ありベースラインと比較して10分の1の学習データで最先端の性能を達成した。この手法は、8つのドメインにまたがる18万件を超えるサンプルを含む新しいマルチドメインデータセット（TOPv2）において、既存の手法を顕著に上回った性能を発揮した。

ABSTRACT

Task-oriented semantic parsing is a critical component of virtual assistants, which is responsible for understanding the user's intents (set reminder, play music, etc.). Recent advances in deep learning have enabled several approaches to successfully parse more complex queries (Gupta et al., 2018; Rongali et al.,2020), but these models require a large amount of annotated training data to parse queries on new domains (e.g. reminder, music). In this paper, we focus on adapting task-oriented semantic parsers to low-resource domains, and propose a novel method that outperforms a supervised neural model at a 10-fold data reduction. In particular, we identify two fundamental factors for low-resource domain adaptation: better representation learning and better training techniques. Our representation learning uses BART (Lewis et al., 2019) to initialize our model which outperforms encoder-only pre-trained representations used in previous work. Furthermore, we train with optimization-based meta-learning (Finn et al., 2017) to improve generalization to low-resource domains. This approach significantly outperforms all baseline methods in the experiments on a newly collected multi-domain task-oriented semantic parsing dataset (TOPv2), which we release to the public.

研究の動機と目的

• 最小限のアノテート済みデータでの低リソースドメインにおける効果的なタスク指向意味解析器の学習という課題に対処すること。
• 表現学習と学習手法の強化により、低リソース環境での一般化性能を向上させること。
• 訓練データを10分の1に制限した場合でも、教師ありモデルを上回る性能を発揮する手法を開発すること。
• 大規模かつマルチドメインのデータセット（TOPv2）を収集・公開し、構成的意味解析における低リソースドメイン適応の評価を可能とすること。

提案手法

• 意味解析器のエンコーダーとデコーダーの両方に、事前学習済みのエンコーダーデコーダー形式のトランスフォーマー（BART）を初期化として用いることで、RoBERTaなどのエンコーダー専用モデルに比べて表現学習の性能を向上させる。
• 新しいターゲットドメインに少ないショットで一般化できるモデル初期化を学習するために、1次順序最適化に基づくメタラーニングアルゴリズムであるReptileを採用する。
• 学習率のウォームアップと早期停止を用いた標準的なファインチューニングスケジュールに従い、ソースドメインでモデルを学習する。
• 5ショットごとのタスクごとのサポートセットと32のバッチサイズを用い、内側と外側の学習率をそれぞれ5×10⁻⁵に設定してメタラーニングを適用する。
• レア語彙やOOV語彙に対応するため、コピーポインタ機構を備えたシーケンス・ツー・シーケンスアーキテクチャを採用する。
• 1つの意図またはスロットあたり最大25件のラベル付きサンプルを用いて、ターゲットドメインでメタラーニングされたモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 BARTのような事前学習済みシーケンス・ツー・シーケンスモデルは、エンコーダー専用モデル（例：RoBERTa）と比較して、構成的タスク指向意味解析における低リソースドメイン適応に有効に機能するか？
• RQ2 最適化に基づくメタラーニングは、意味解析における低リソースターゲットドメインへの一般化性能を向上させるか？
• RQ3 本手法は、教師ありベースラインと比較して、学習データを10分の1に制限した場合にどのように性能を発揮するか？
• RQ4 本手法は、1つの意図またはスロットあたりたった25件の学習サンプルで、競争力のある性能を達成できるか？

主な発見

• 提案手法は、特に1意図またはスロットあたり25件のサンプルでの低データ環境下で、すべてのベースラインモデルを上回った。
• BARTによる初期化は、低リソース環境下でRoBERTaや他のエンコーダー専用モデルに比べて顕著に性能を向上させた。
• Reptileを用いたメタラーニングにより、少量のラベル付きデータで新しいドメインへの適応がより高速かつ効果的に行えるようになった。
• 10分の1の学習データで学習したにもかかわらず、教師あり最先端のLSTMベースのポインタジェネレータネットワークと同等の性能を達成した。
• 8つのドメインにまたがる18万件を超えるアノテート済みサンプルを含むTOPv2データセットは、低リソース適応手法の評価を堅実に行うことを可能にした。