[論文レビュー] Universal Natural Language Processing with Limited Annotations: Try Few-shot Textual Entailment as a Start

Wenpeng Yin, Nazneen Fatema Rajani+3 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本論文では、少数のタスク固有の例での微調整により、オープンドメインNLPタスクに一般化できる、few-shotテキスト entailment フレームワークである UFO-Entail を提案する。この手法は、出典外の entailment タスクや質問応答、共参照解決といった下流タスクにおいても優れた性能を発揮し、最小限のアノテーションで、一部のケースではフルショットベースラインを上回ることを示しており、テキスト entailment が低リソースNLPシナリオにおける実用的かつ包括的なソリューションであることを示している。

ABSTRACT

A standard way to address different NLP problems is by first constructing a problem-specific dataset, then building a model to fit this dataset. To build the ultimate artificial intelligence, we desire a single machine that can handle diverse new problems, for which task-specific annotations are limited. We bring up textual entailment as a unified solver for such NLP problems. However, current research of textual entailment has not spilled much ink on the following questions: (i) How well does a pretrained textual entailment system generalize across domains with only a handful of domain-specific examples? and (ii) When is it worth transforming an NLP task into textual entailment? We argue that the transforming is unnecessary if we can obtain rich annotations for this task. Textual entailment really matters particularly when the target NLP task has insufficient annotations. Universal NLP can be probably achieved through different routines. In this work, we introduce Universal Few-shot textual Entailment (UFO-Entail). We demonstrate that this framework enables a pretrained entailment model to work well on new entailment domains in a few-shot setting, and show its effectiveness as a unified solver for several downstream NLP tasks such as question answering and coreference resolution when the end-task annotations are limited. Code: https://github.com/salesforce/UniversalFewShotNLP

研究の動機と目的

• タスク固有のアノテーションが乏しい低リソースまたはオープンドメインの設定においてNLPモデルを展開する課題に対処すること。
• 豊富なアノテーションが得られない状況下でも、テキスト entailment が多様なNLPタスクの統一フレームワークとして機能できるかどうかを調査すること。
• 少数のアノテート済み例のみを用いて、新しいドメインやタスクにうまく一般化できるfew-shot学習システムを開発すること。
• NLPタスクをテキスト entailment の問題に再定式化することで、データが少ない状況での性能が向上するかどうかを評価すること。

提案手法

• MNLIで事前学習されたRoBERTaモデルを微調整し、基本的な entailment 分類器とする。
• ソース（MNLI）ドメインとターゲットドメイン間の表現を、わずかなラベル付き例のみを用いて整列させるためのクロスタスク最近傍ブロックを導入する。
• プロトタイプネットワークにインspiredされたメタ学習アプローチ（メトリクスベース）を用い、少数の例で新しいタスクに適応する。
• 大規模な汎用 entailment データセット（MNLI）からの間接的监督を活用し、ゼロショットおよびfew-shot一般化を向上させる。
• 質問応答や共参照解決といった多様なNLPタスクを、(前提,仮説)ペアとして定式化することで、テキスト entailment に変換する。
• 汎用MNLIデータと少数のタスク固有の例の組み合わせを用いて、モデルをエンドツーエンドで学習させ、ドメイン適応を改善する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのテキスト entailment モデルが、わずかなアノテート済み例でのみ、新しいドメインにどれほど一般化できるか？
• RQ2 下流NLPタスクをテキスト entailment 問題に再定式化するのは、どのような状況で有益か？
• RQ3 MNLIのような汎用データセットで学習した1つの entailment モデルが、最小限のタスク固有データで、多様なNLPタスクに効果的に適応できるか？
• RQ4 ラベル付きデータが乏しい状況では、few-shotテキスト entailment がタスク固有の微調整を上回る性能を発揮するか？

主な発見

• RTEベンチマークでは、10ショットの例でのみ、85.28%の精度を達成し、ターゲットデータで微調整されたフルショットベースライン（85.28% 対 80.00%）を上回った。
• GAPデータセットにおける共参照解決では、40%のデータしか使わなくても、フル100%の訓練セットベースラインと同等の性能に達したが、非 entailment ベースラインでは100%のデータが必要だった。
• SciTailベンチマークでは、他の10ショットベースラインと比較して約4%の向上を示し、強力なfew-shot一般化能力を実証した。
• 質問応答タスクでは、他の10ショット手法と比較して約6%の向上を示し、タスク全体にわたる一貫した向上を確認した。
• 訓練データが限られている場合、特に全セットの30%未満の状況では、直接分類を行う手法よりも、エンタイルメントベースのアプローチがより速く収束し、より優れた性能を発揮した。
• MNLIで学習し、タスクごとにわずかな例での適応を施したこのシステムは、出典外の entailment ベンチマークや多様なNLPタスクに効果的に一般化でき、その普遍的ソルバーとしての役割を裏付けた。