[論文レビュー] PADA: A Prompt-based Autoregressive Approach for Adaptation to Unseen Domains.

Eyal Ben‐David, Nadav Oved+1 more|arXiv (Cornell University)|Feb 24, 2021

Topic Modeling参考文献 45被引用数 33

ひとこと要約

PADAは、NLPにおけるゼロショットドメイン適応のためのプロンプトベースの自己回帰的手法を提案する。T5ベースのモデルがドメイン関連特徴（DRFs）からタスク固有のプロンプトを生成し、ターゲットデータなしで未学習ドメインに適応する。テキスト分類および系列タグ付けの14のマルチソース適応シナリオにおいて、最先端の性能を達成する。

ABSTRACT

Natural Language Processing algorithms have made incredible progress, but they still struggle when applied to out-of-distribution examples. We address a challenging and underexplored version of this domain adaptation problem, where an algorithm is trained on several source domains, and then applied to examples from an unseen domain that is unknown at training time. Particularly, no examples, labeled or unlabeled, or any other knowledge about the target domain are available to the algorithm at training time. We present PADA: A Prompt-based Autoregressive Domain Adaptation algorithm, based on the T5 model. Given a test example, PADA first generates a unique prompt and then, conditioned on this prompt, labels the example with respect to the NLP task. The prompt is a sequence of unrestricted length, consisting of pre-defined Domain Related Features (DRFs) that characterize each of the source domains. Intuitively, the prompt is a unique signature that maps the test example to the semantic space spanned by the source domains. In experiments with 3 tasks (text classification and sequence tagging), for a total of 14 multi-source adaptation scenarios, PADA substantially outperforms strong baselines.

研究の動機と目的

• トレーニング時にターゲットドメインの例やラベルにアクセスできない状況で、テスト時に未学習ドメインにNLPモデルを適応させる課題に対処すること。
• トレーニング時にラベル付きまたはラベルなしのターゲットデータを必要とする従来のドメイン適応手法の制限を克服すること。
• ドメイン関連特徴（DRFs）のみを用いて、複数のソースドメインから一般化し、完全に未知のターゲットドメインに適応できる手法を開発すること。
• テスト例をソースドメインの意味空間にマッピングするタスク固有のプロンプトを生成することで、効果的なゼロショット適応を可能にすること。

提案手法

• ドメイン関連特徴（DRFs）に基づいて、事前に定義されたDRFsを用いて、各テスト例に対して固有の、長さ制限のないプロンプトをT5ベースの自己回帰モデルが生成する。
• ソースドメインを特徴付けるDRFsを用いて、テスト入力をソースドメイン空間にリンクする意味的シグネaturesを形成するプロンプトを構築する。
• 生成されたプロンプトに条件づけてラベルを生成することで、文脈に配慮した形でNLPタスク（例：分類または系列タグ付け）を実行できるようにする。
• ターゲットドメインデータを一切使用せず、DRFsのみに依存して、ソースドメインのみでモデルをエンドツーエンドに訓練する。
• T5の自己回帰的性質を活用して、一貫性がありタスクに適したプロンプトを生成し、ゼロショット一般化を向上させる。
• DRFsから導かれる可変長のプロンプトシーケンスを許容することで、プロンプトの多様性と表現力を高め、未学習ドメインの意味論に適応する能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインデータが一切ない状況で、プロンプトベースの自己回帰的アプローチが未学習ドメインに効果的に適応できるか。
• RQ2 完全に未知のターゲットドメインに適応する際、複数のソースドメインから一般化する能力はどの程度か。
• RQ3 プロンプト生成におけるドメイン関連特徴（DRFs）の使用が、ゼロショット適応性能をどの程度向上させるか。
• RQ4 マルチソースドメイン適応シナリオにおいて、提案手法は強力なベースラインと比べてどのように差をつけるか。

主な発見

• PADAは、テキスト分類および系列タグ付けを含む14のマルチソース適応シナリオにおいて、強力なベースラインを顕著に上回る。
• トレーニング時にターゲットドメインが完全に未知であっても、ゼロショットドメイン適応で最先端の性能を達成する。
• DRFsに基づく自己回帰的プロンプト生成により、テスト例がソースドメインの意味空間に効果的にマッピングされる。
• 多様なNLPタスクおよびドメインの組み合わせにわたって、強力なゼロショット転送能力を示し、堅牢な一般化を実現する。
• トレーニング時にターゲットドメインデータが欠落しているにもかかわらず性能に影響がないことから、DRF駆動のプロンプト生成の有効性が裏付けられる。
• 分類および系列タグ付けの両方のNLPタスクにおいて、ゼロショット設定下で本手法は効果的であることが確認された。