[論文レビュー] DQI: Measuring Data Quality in NLP

Swaroop Mishra, Anjana Arunkumar+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 76被引用数 7

ひとこと要約

本稿では、データ作成段階で余計なバイアスを特定・軽減することで、NLPデータセットの品質を測定・向上するための汎用的公式であるデータ品質インデックス（DQI）を紹介する。DQIを敵対的フィルタリング（AFLite）、可視化ツール、自動化（TextFooler、Autofix）と組み合わせることで、SNLIデータセットを刷新し、元のベンチマークでは性能が低下したものの、分布外のタスクへの一般化性能が向上したモデルが得られた。

ABSTRACT

Neural language models have achieved human level performance across several NLP datasets. However, recent studies have shown that these models are not truly learning the desired task; rather, their high performance is attributed to overfitting using spurious biases, which suggests that the capabilities of AI systems have been over-estimated. We introduce a generic formula for Data Quality Index (DQI) to help dataset creators create datasets free of such unwanted biases. We evaluate this formula using a recently proposed approach for adversarial filtering, AFLite. We propose a new data creation paradigm using DQI to create higher quality data. The data creation paradigm consists of several data visualizations to help data creators (i) understand the quality of data and (ii) visualize the impact of the created data instance on the overall quality. It also has a couple of automation methods to (i) assist data creators and (ii) make the model more robust to adversarial attacks. We use DQI along with these automation methods to renovate biased examples in SNLI. We show that models trained on the renovated SNLI dataset generalize better to out of distribution tasks. Renovation results in reduced model performance, exposing a large gap with respect to human performance. DQI systematically helps in creating harder benchmarks using active learning. Our work takes the process of dynamic dataset creation forward, wherein datasets evolve together with the evolving state of the art, therefore serving as a means of benchmarking the true progress of AI.

研究の動機と目的

• NLPデータセットにおける余計なバイアスによるAI能力の過大評価を是正すること。
• 後処理ではなく、データ作成段階でバイアスを防止できる能動的アプローチをデータ作成者に提供すること。
• データ品質を体系的に改善することで、真のAI進歩を反映する動的で進化し続けるベンチマークフレームワークを構築すること。
• アクティブラーニングとデータ刷新を活用して、より難易度が高くバイアスのないベンチマークを生成することで、モデルの一般化性能を向上させること。
• 静的データセットを超えたデータ作成プロセスを、品質モニタリングとリアルタイムフィードバックを統合することで拡張すること。

提案手法

• 先行研究から得られたバイアスの兆候に基づき、語彙的、構文的、意味的特徴などの複数の要素を用いてデータ品質を測定する汎用的DQI公式を提案する。
• AFLiteを用いて敵対的フィルタリングを実施し、SNLIテストセットからのバイアスを有する例を特定・削除することで、DQIの有効性を検証する。
• アナリストがデータ品質を評価し、新しいサンプルがデータセットに与える影響を把握できるように、インタラクティブな可視化を統合したデータ作成パラダイムを提案する。
• Autofixを活用して、クラウドソーシング作業者がリアルタイムでより高品質なデータを生成できるように支援し、バイアスの発生源を低減する。
• TextFoolerを用いて、低品質なデータを露呈させる敵対的例を生成し、的確な修復を可能にする。
• 刷新されたSNLIデータセットを用いてBERTおよびRoBERTaを再訓練し、分布外タスクにおける一般化性能の向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 汎用的で構成要素に基づくデータ品質インデックス（DQI）は、データ作成段階で余計なバイアスを効果的に測定・低減できるか？
• RQ2 DQIと敵対的フィルタリング（AFLite）を統合することで、データ品質とモデル一般化性能はどのように向上するか？
• RQ3 可視化および自動化ツール（Autofix、TextFooler）を統合することで、クラウドソーシングによるデータ作成段階でのデータ品質はどの程度向上するか？
• RQ4 DQIを用いてSNLIのようなベンチマークデータセットを刷新することで、分布外データに対するモデルの一般化性能が向上するか？
• RQ5 DQIをアクティブラーニング環境で活用することで、真のAI進歩を反映する、次第により難易度が高くなるベンチマークの階層を生成できるか？

主な発見

• DQI公式は、語彙的、構文的、意味的アーティファクトを含む、NLPデータセットにおける多様なタイプの余計なバイアスを効果的に特定・測定できる。
• DQIとAFLiteを組み合わせることで、SNLIテストセットからのバイアスを有する例のフィルタリングに成功し、インデックスが既知のバイアスパターンに感受性を示すことが検証された。
• 可視化と自動化ツール（Autofix、TextFooler）の統合により、アナリストおよびクラウドワーカーがリアルタイムで低品質データを検出・是正できるようになった。
• 刷新されたSNLIデータセットを用いてBERTおよびRoBERTaを再訓練した結果、元のテストセットでは性能が低下したものの、分布外ベンチマークにおける一般化性能が向上した。
• 刷新されたデータセットは、モデルと人間の間で顕著なパフォーマンス格差を示しており、元のベンチマークがモデルの能力を過大評価していたことが裏付けられた。
• DQIに基づくデータ作成パラダイムにより、アクティブラーニングを活用して、次第に難易度が高くなるベンチマークの系列が生成可能となり、真のAI進歩を反映するようになった。