[論文レビュー] WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation

Alisa Liu, Swabha Swayamdipta+2 more|arXiv (Cornell University)|Jan 16, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文では、データセット地図法を用いて困難な推論パターンを同定し、GPT-3を用いてそれらに基づいて例を生成した後、自動フィルタリングと人的な見直しを経て、多様で高品質な自然言語推論（NLI）データセットを共同で作成する人間とAIの協働フレームワーク、WaNLIを提案する。得られた107,885件のデータセットは、モデルの汎化性能を向上させ、MultiNLIの4倍のサイズのデータセットで学習させた場合と比較して、HANSで11%高い精度、Adversarial NLIで9%高い精度を達成した。

ABSTRACT

A recurring challenge of crowdsourcing NLP datasets at scale is that human writers often rely on repetitive patterns when crafting examples, leading to a lack of linguistic diversity. We introduce a novel approach for dataset creation based on worker and AI collaboration, which brings together the generative strength of language models and the evaluative strength of humans. Starting with an existing dataset, MultiNLI for natural language inference (NLI), our approach uses dataset cartography to automatically identify examples that demonstrate challenging reasoning patterns, and instructs GPT-3 to compose new examples with similar patterns. Machine generated examples are then automatically filtered, and finally revised and labeled by human crowdworkers. The resulting dataset, WANLI, consists of 107,885 NLI examples and presents unique empirical strengths over existing NLI datasets. Remarkably, training a model on WANLI improves performance on eight out-of-domain test sets we consider, including by 11% on HANS and 9% on Adversarial NLI, compared to training on the 4x larger MultiNLI. Moreover, it continues to be more effective than MultiNLI augmented with other NLI datasets. Our results demonstrate the promise of leveraging natural language generation techniques and re-imagining the role of humans in the dataset creation process.

研究の動機と目的

• クラウドソーシングによるNLPデータセットにおける言語的多様性の欠如と誤ったパターンへの過剰適合の問題に対処すること。
• 言語モデルによる生成と人間による評価・見直しを活用する新しいデータセット作成のパラダイムを検討すること。
• 希少で困難な推論パターンに焦点を当てたデータセット作成により、モデルの汎化性能を向上させること。
• 人間のアノテーターの役割を主たる作成者からAI生成コンテンツの評価者および見直し者に再考すること。
• 人的労力の最小限に抑えながら、多様で高品質なNLI例をスケーラブルかつ自動化されたパイプラインで生成する手法の開発。

提案手法

• 訓練済みモデルと比較して、困難な推論パターンを示す例の「パッチ」をMultiNLIからデータセット地図法を用いて同定する。
• 各同定されたパターン群のコンテキスト例を提示したプロンプトをGPT-3に与え、新しいパターンに整合したNLIインスタンスを生成する。
• データセット地図法にインspiredされた新規指標を導入し、低品質または情報のないGPT-3の生成物を自動でフィルタリングする。
• フィルタリング済みのAI生成例をクラウドワーカーに提出し、ゴールドレベルのラベル付けと、必要に応じて品質と正確性を保証するための見直しを実施する。
• 見直され、ラベル付けされた例を統合し、最終的なデータセットであるWaNLI（107,885件のNLIインスタンス）を構築する。
• モデルをWaNLIで微調整し、HANS や Adversarial NLI を含むドメイン外ベンチマークでテストすることで、得られたデータセットの評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 同定された推論パターンに基づくAI生成例は、ドメイン外のNLIベンチマークにおけるモデルの汎化性能を向上させることができるか？
• RQ2 人間による評価を生成よりも重視する人間とAIの協働パイプラインは、より多様で頑健なNLPデータセットの作成に寄与するか？
• RQ3 WaNLIで微調整されたモデルの性能は、MultiNLIのようなより大きな伝統的データセットで学習されたモデルと比べてどうなるか？
• RQ4 データセット地図法の指標に基づく自動フィルタリングは、データ品質を保持しつつ、人的レビューの必要性をどの程度削減できるか？
• RQ5 AI生成データの限界としてのバイアスやアーチファクトの拡散はどのようなものか。人的監視はそれらをどのように緩和できるか？

主な発見

• MultiNLIの4倍のサイズのデータセットで学習させた場合と比較して、WaNLIで学習させたモデルはHANSベンチマークで11%高い精度を達成した。
• Adversarial NLIベンチマークでは、MultiNLIで学習したモデルと比較して、WaNLIで学習したモデルが9%高い性能を示し、敵対的例に対する頑健性が向上した。
• MultiNLIに他のNLIデータセットを追加しても、WaNLIで微調整したモデルはそれらを上回る性能を示しており、WaNLIが独自の実証的価値を持つことを示している。
• 人的見直しのステップは、AI生成例の品質を顕著に向上させた。アノテーターは誤りを是正し、文の表現を洗練させることで、言語的正確性とラベルの正確性を確保した。
• パイプラインは、否定、逆転、暗黙の意図といった希少な推論パターンを効果的に同定・再現できており、従来のクラウドソーシングデータセットでは不足しがちなパターンを補った。
• GPT-3の使用にもかかわらず、最終的なデータセットには有害または不適切なコンテンツの兆候がほとんどなく、人的アノテーターが見直し段階でそれらを除外したことで確認された。