[論文レビュー] G-DAUG: Generative Data Augmentation for Commonsense Reasoning

Yiben Yang, Chaitanya Malaviya+7 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling被引用数 14

ひとこと要約

G-DAUG^C は、事前学習された言語モデルを用いて多様で高品質な訓練例を合成する生成的データ拡張手法を提案する。この手法は、低リソースベンチマークにおける性能を顕著に向上させ、バックトランスレーションに基づく手法を上回り、WinoGrande、CODAH、CommonsenseQA において新たなSOTAを樹立する。また、分布シフトや悪意のある入力に対して高い耐性を示す。

ABSTRACT

Recent advances in commonsense reasoning depend on large-scale human-annotated training data to achieve peak performance. However, manual curation of training examples is expensive and has been shown to introduce annotation artifacts that neural models can readily exploit and overfit on. We investigate G-DAUG^C, a novel generative data augmentation method that aims to achieve more accurate and robust learning in the low-resource setting. Our approach generates synthetic examples using pretrained language models, and selects the most informative and diverse set of examples for data augmentation. In experiments with multiple commonsense reasoning benchmarks, G-DAUG^C consistently outperforms existing data augmentation methods based on back-translation, and establishes a new state-of-the-art on WinoGrande, CODAH, and CommonsenseQA. Further, in addition to improvements in in-distribution accuracy, G-DAUG^C-augmented training also enhances out-of-distribution generalization, showing greater robustness against adversarial or perturbed examples. Our analysis demonstrates that G-DAUG^C produces a diverse set of fluent training examples, and that its selection and training approaches are important for performance. Our findings encourage future research toward generative data augmentation to enhance both in-distribution learning and out-of-distribution generalization.

研究の動機と目的

• 人為的アノテーションによる常識的推論データセットにおける高コストとアノテーションアーチファクトの問題を解決すること。
• ラベル付きデータが乏しい低リソース環境におけるモデルの汎化性能を向上させること。
• 多様で流暢で情報豊富な合成訓練例を生成するデータ拡張手法を開発すること。
• 常識的推論モデルの分布内性能と分布外の耐性の両方を向上させること。
• 多様な言語的パターンを含む合成データを導入することで、アノテーションアーチファクトへの過剰適合を軽減すること。

提案手法

• 事前学習された言語モデルを用いて合成訓練例を生成し、訓練データの分布を拡張する。
• 生成されたセットから最も情報量が多く多様性のある例を保持するための選択メカニズムを適用する。
• 高品質な合成例を優先的に使用するカリキュラムに類似した訓練戦略を採用する。
• 生成例の文の流暢さと意味的多様性を活用し、モデルの汎化性能を向上させる。
• 信頼度に基づくフィルタリングステップを用いて、低品質または不適切な合成例を除外する。
• 生成的拡張と標準的な微調整を組み合わせることで、下流ベンチマークでの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータにおける常識的推論ベンチマークで、生成的データ拡張が性能向上に寄与するか？
• RQ2 G-DAUG^C はバックトランスレーションに基づく手法と比較して、より多様で流暢な訓練例を生成できるか？
• RQ3 G-DAUG^C はどれほど分布外一般化性能と悪意のある入力に対する耐性を向上させるか？
• RQ4 G-DAUG^C の選択および訓練戦略は、性能向上にどのように寄与しているか？
• RQ5 大規模言語モデルを用いて生成された合成データは、常識データセットにおけるアノテーションアーチファクトへの過剰適合を軽減できるか？

主な発見

• G-DAUG^C は WinoGrande で新たなSOTAを達成し、分布内精度が向上した。
• CODAH および CommonsenseQA でも新たなSOTAを樹立し、複数のベンチマークで一貫した向上を示した。
• G-DAUG^C で微調整されたモデルは、ベースラインと比較して悪意のある入力や摂動を受けた入力に対してもより高い耐性を示した。
• 本手法は多様で流暢な合成例のセットを生成し、これがより良い汎化性能に寄与している。
• 選択および訓練プロセスが性能向上に不可欠であることが、アブレーションスタディで示された。それらが欠落すると顕著な性能低下が生じた。
• G-DAUG^C は生成的拡張による言語的多様性の導入により、アノテーションアーチファクトへの過剰適合を軽減した。