[論文レビュー] Towards Zero-Label Language Learning

Zi-Rui Wang, Adams Wei Yu+2 more|arXiv (Cornell University)|Sep 19, 2021

Topic Modeling参考文献 23被引用数 46

ひとこと要約

この論文は Unsupervised Data Generation (UDG) を導入する。事前学習済み言語モデルを用いた few-shot prompts でラベル付き訓練データを、ラベルなしの例から合成するゼロラベル学習フレームワークであり、ゼロラベル訓練を可能にし、データ拡張として効果的で、SuperGLUE で監督付きベースラインを凌ぐことができる。

ABSTRACT

This paper explores zero-label learning in Natural Language Processing (NLP), whereby no human-annotated data is used anywhere during training and models are trained purely on synthetic data. At the core of our framework is a novel approach for better leveraging the powerful pretrained language models. Specifically, inspired by the recent success of few-shot inference on GPT-3, we present a training data creation procedure named Unsupervised Data Generation (UDG), which leverages few-shot prompts to synthesize high-quality training data without real human annotations. Our method enables zero-label learning as we train task-specific models solely on the synthetic data, yet we achieve better or comparable results from strong baseline models trained on human-labeled data. Furthermore, when mixed with labeled data, our approach serves as a highly effective data augmentation procedure, achieving new state-of-the-art results on the SuperGLUE benchmark.

研究の動機と目的

• NLPにおけるゼロラベル学習を動機づけ、人間が注釈したデータへの依存を減らす。
• 監督なしでラベル付き例を生成するため、事前学習済み言語モデルを活用したデータ作成パイプラインを開発する。
• 合成データでの学習が監督付きベースラインに匹敵・上回ることを示し、ラベル付きデータと組み合わせた際の性能向上を示す。
• UDGの有効性を、テキスト分類と一般的な言語理解ベンチマーク（SuperGLUE）全般で実証する。

提案手法

• Unsupervised Data Generation (UDG)を提案する：事前学習済み言語モデルに、疑似ラベル記述 Des(y_hat) と少数のラベルなしの例を与えて入力 X を生成させ、生成と予測を分離する。
• 生成器をファインチューニングせずに、トップ-kサンプリングを用いて合成された (x_g, y_hat) のペアを生成する。
• 合成データセット上でタスク固有のモデルを訓練し、必要に応じて Noisy Label Annealing (NLA) を用いて訓練時にノイズの多い合成例の重みを下げる。
• UDGを監督なしのテキスト分類および SuperGLUE 風の言語理解タスクに適用し、作成データの微調整には T5 系の下流モデルを使用する。
• データサイズとプロンプト–例の効果を調査し、合成データと実データのラベル付きデータを組み合わせたデータ拡張を検討する。
• 少数ショット推論および監督付きベースラインと比較し、ラベル付きデータで拡張した場合の競争力と SuperGLUE における超人間的な性能の可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な NLP ベンチマークで、合成データによるゼロラベル学習が監督付きベースラインに匹敵するまたはそれを上回ることができるか。
• RQ2 合成データの品質、プロンプト設計、データセットのサイズが UD G の性能にどう影響するか。
• RQ3 リアルなラベル付きデータと組み合わせた場合、UDG はデータ拡張手法として有効か。特に SuperGLUE のような難易度の高いベンチマークで。
• RQ4 訓練時のノイズな合成データを緩和するうえで Noisy Label Annealing の役割は何か。

主な発見

モデル	設定	SuperGLUE Avg.
Human		89.8
Previous SOTA	Supervised	89.3
T5+UDG		90.4
GPT3	Few-Shot	71.8
UDG	Unsupervised	78.1

• UDG は、IMDb、Yelp、Amazon、DBpedia などのテキスト分類ベンチマークで、監督付きの強力なベースラインと競合する結果を、監督なし設定で達成する。
• SuperGLUE では、UDG は監督なしデータで平均 78.1 を達成し、ラベル付きデータと組み合わせると最先端スコアに到達し、2020年12月20日時点で人間の性能を超えることさえある。
• T5 または XLNet ベースのバックボーンを用いると、UDG と Noisy Label Annealing (NLA) はタスク全体で性能を向上させ、多くのケースで GPT-3 のような few-shot 推論を上回る。
• few-shot プロンプトで生成されたデータは拡張のためにスケール可能であり、ラベル付きデータと結合した場合、特に小データタスク（COPA、WSC）で改善をもたらす。
• 重要な知見として、UDG は IMDb および Yelp-2 でゼロラベル設定にもかかわらずいくつかの完全監督モデルを上回ることがあり、下流訓練のための教師なしデータ作成の強さを示している。