[論文レビュー] NL-Augmenter: A Framework for Task-Sensitive Natural Language\n Augmentation

Kaustubh Dhole, Varun Gangal+124 more|arXiv (Cornell University)|Dec 5, 2021

Topic Modeling被引用数 25

ひとこと要約

NL-Augmenter は、タスクに敏感な NLP データ拡張と堅牢性評価のために 117 個の変換と 23 個のフィルターを提供する、参加型の Python フレームワークであり、公開リポジトリと人気モデルに対する初期の堅牢性分析を備えています。

ABSTRACT

Data augmentation is an important component in the robustness evaluation of\nmodels in natural language processing (NLP) and in enhancing the diversity of\nthe data they are trained on. In this paper, we present NL-Augmenter, a new\nparticipatory Python-based natural language augmentation framework which\nsupports the creation of both transformations (modifications to the data) and\nfilters (data splits according to specific features). We describe the framework\nand an initial set of 117 transformations and 23 filters for a variety of\nnatural language tasks. We demonstrate the efficacy of NL-Augmenter by using\nseveral of its transformations to analyze the robustness of popular natural\nlanguage models. The infrastructure, datacards and robustness analysis results\nare available publicly on the NL-Augmenter repository\n(https://github.com/GEM-benchmark/NL-Augmenter).\n

研究の動機と目的

• 多様なタスクに敏感な変換とフィルターを取りまとめることにより、NLP の堅牢な評価とデータ拡張を可能にする。
• 拡張プリミティブを成長させ、キュレーションするために研究コミュニティを参加型のワークフローに関与させる。
• 各拡張を一般的なデータ形式と NLP タスクに結び付け、ターゲットを絞った実験を容易にする。
• 品質と拡張性を保証するためのガバナンスと査読基準を備えたオープンなリポジトリを提供する。
• 複数の NLP タスクにまたがるモデルの堅牢性に対する摂動の影響を特徴づけ、分析する。

提案手法

• 変換とフィルターを実装するための GitHub ベースの参加型ワークショップを通じたクラウドソース開発。
• タスクと言語タグのメタデータを付した 117 の変換と 23 のフィルターをリリース。
• 摂動の分類を 3 カテゴリのタグ付けスキーム（一般的特性、出力特性、処理特性）を用いて行う。
• 4つの事前学習済みモデル（SST-2 Roberta-base、IMDB Roberta-base、QQP BERT-base-uncased、MNLI Roberta-large）を用いたテキスト分類タスクの堅牢性分析と、検証データの 20% に摂動を加える。
• 評価指標には変換率（変更された文の割合）とスコア変動（摂動データでの性能低下）を含む。
• データ、コード、および堅牢性結果を NL-Augmenter リポジトリを通じて公開。

実験結果

リサーチクエスチョン

• RQ1 タスクに敏感な大量で多様な NLP データ拡張を、どのように体系的に作成・整理できるか？
• RQ2 標準的な NLP タスク全般におけるモデルの堅牢性に対する、さまざまな摂動の影響は何か？
• RQ3 参加型フレームワークは、言語とタスクを跨いだスケーラブルで高品質な拡張を生み出し、堅牢な評価を可能にできるか？
• RQ4 摂動をどのように記述、フィルタリング、分析して、異なるモデルやデータセットに対する影響を理解できるか？

主な発見

• 初期リリース時点でフレームワークは 117 の変換と 23 のフィルターを含んでいる。
• 変換とフィルターは複数の NLP タスクと言語をサポートするように設計されており、タスク固有の適用性を持つ。
• 参加型ワークショップと GitHub リポジトリを用いて、検証可能な JSON アーティファクトとともに貢献を収集・レビューした。
• 複数のデータセット（SST-2、IMDB、QQP、MNLI）に対する堅牢性分析は、モデルの挙動やバイアスを探るための変換の有用性を示している。
• 結果と摂動メタデータは NL-Augmenter リポジトリに公開されている。
• 構造化された分類法（タグ）は摂動のナビゲーションと分析を導き、再現性とモデル間比較を支援する。