[論文レビュー] GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation

Biyang Guo, Yeyun Gong+5 more|arXiv (Cornell University)|Nov 18, 2022

Topic Modeling被引用数 4

ひとこと要約

GENIUSは、極端かつ選択的なマスキングを用いて、最小限のキーパランフレーズ（スケッチ）から全文を再構築するように事前学習されたスケッチベースのテキスト生成モデルであり、高品質で多様な生成を可能にする。このモデルは、タスクに適したスケッチを抽出し、意味的に豊富で多様な訓練サンプルを生成するデータ拡張手法GeniusAugを駆動しており、微調整を必要とせず、テキスト分類、NER、MRCタスクにおいて性能を顕著に向上させる。

ABSTRACT

We introduce GENIUS: a conditional text generation model using sketches as input, which can fill in the missing contexts for a given sketch (key information consisting of textual spans, phrases, or words, concatenated by mask tokens). GENIUS is pre-trained on a large-scale textual corpus with a novel reconstruction from sketch objective using an extreme and selective masking strategy, enabling it to generate diverse and high-quality texts given sketches. Comparison with other competitive conditional language models (CLMs) reveals the superiority of GENIUS's text generation quality. We further show that GENIUS can be used as a strong and ready-to-use data augmentation tool for various natural language processing (NLP) tasks. Most existing textual data augmentation methods are either too conservative, by making small changes to the original text, or too aggressive, by creating entirely new samples. With GENIUS, we propose GeniusAug, which first extracts the target-aware sketches from the original training set and then generates new samples based on the sketches. Empirical experiments on 6 text classification datasets show that GeniusAug significantly improves the models' performance in both in-distribution (ID) and out-of-distribution (OOD) settings. We also demonstrate the effectiveness of GeniusAug on named entity recognition (NER) and machine reading comprehension (MRC) tasks. (Code and models are publicly available at https://github.com/microsoft/SCGLab and https://github.com/beyondguo/genius)

研究の動機と目的

• キーフレーズやスパン（スケッチ）という最小限の入力から一貫性があり多様なテキストを生成できる条件付き言語モデルの開発。
• 従来のテキスト再構築モデルの限界を克服し、低マスキング比に制限され、高度に破損した入力を処理できない問題を解決すること。
• スパarsなスケッチからの強固な再構築を可能にする、極端かつ選択的なマスキングを用いた事前学習目的の設計。
• GENIUSが多様なNLPタスクに応用可能な強力で即時利用可能なデータ拡張ツールとしての有効性を実証すること。
• コアな意味を保持しつつ多様な文脈を生成することで、データ拡張における多様性と品質のバランスを図ること。

提案手法

• 大規模コーパス上で、極端なマスキング（高割合のトークンがマスキングされる）と選択的マスキング（重要で情報量の多いスパンに焦点を当てる）を組み合わせた、新規のスケッチからの再構築を目的とした事前学習をGENIUSで実施。
• スケッチ要素をマスクトークンで表現し、キーフレーズやキーワードのみを保持し、残りのテキストをマスキングする。
• 命名エンティティや感情を含むフレーズなどの重要な意味的単位を優先して保持する、選択的マスキング戦略を適用。
• 事前学習済みのGENIUSモデルを用いて、スケッチ入力に条件づけられた完全で一貫性があり多様なテキストを生成。
• GeniusAugを設計：元の訓練データからタスクに適したスケッチを抽出し、GENIUSを用いてこれらのスケッチの周囲りに新しい訓練サンプルを生成。
• タスク固有の微調整を必要とせず、即挿し込み式のデータ拡張を可能にするために、GeniusAugを下流NLPパイプラインに統合。

実験結果

リサーチクエスチョン

• RQ1 極端にマスキングされた入力（キーフレーズやスパンのみ）から、完全で一貫性があり多様なテキストを言語モデルが効果的に再構築できるか？
• RQ2 事前学習段階で極端かつ選択的なマスキングを適用することで、標準的なマスキング戦略と比較して、一般化性能や生成品質が向上するか？
• RQ3 GENIUSによるスケッチベースの生成は、下流NLPタスクにおける強力で制御可能なデータ拡張手法として機能できるか？
• RQ4 GeniusAugは、保守的（例：EDA、MLMベース）および攻撃的（例：LAMBADA）なデータ拡張手法と比較して、多様性、品質、下流タスク性能において優れているか？
• RQ5 GeniusAugは、分布内および分布外の設定において、モデルの一般化性能をどの程度向上できるか？

主な発見

• GeniusAugは6つのテキスト分類データセットにおいて、分布内および分布外の両設定で平均してF1スコアが最大4.2%向上させ、モデル性能を顕著に向上させた。
• 特にリソースが限られた状況下でも、EDA、バックトランスレーション、MLMベースの手法といった強力なベースラインを上回り、多様性と下流タスクの正確性の両面で優れた性能を示した。
• 命名エンティティ認識および機械的読解理解タスクにおいて、最先端または競争力のある結果を達成し、広範な適用可能性を示した。
• GeniusAugは、元のテキストとの強い意味的整合性を保ちつつ、意味的に有意義な構造的および語彙的変化を導入し、保守的および攻撃的な拡張の欠点を回避した高品質なサンプルを生成した。
• 事前学習済みのGENIUSモデルは、微調整を必要とせずゼロショットでのデータ拡張を可能にし、さらに下流データでの微調整によりさらなる性能向上が得られた。
• GeniusAugは、LAMBADAのようなARベースの手法よりも制御性が高く、コアな意味を保持しつつ多様な文脈を生成することで、低品質または不適切なサンプルのリスクを低減した。