[論文レビュー] Understanding Dataset Difficulty with $\mathcal{V}$-Usable Information

Kawin Ethayarajh, Yejin Choi+1 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling被引用数 4

ひとこと要約

本稿は、特定のモデル $Π$ に対してデータセットの難易度を定量化するための情報理論的枠組みを提案する。$Π$-利用可能情報（$Π$-usable information）を用い、ポイントワイズ $Π$-情報（pvi）により個々のインスタンスレベルでの難易度推定が可能となる。低レベルの $Π$-利用可能情報がモデルの難易度と相関することを明らかにし、SNLI や CoLA などの主要な NLP ベンチマークに、誤標記されたインスタンスや最小限の語彙的手がかりへの過剰依存といったアノテーションアーチファクトが存在することを特定した。

ABSTRACT

Estimating the difficulty of a dataset typically involves comparing state-of-the-art models to humans; the bigger the performance gap, the harder the dataset is said to be. However, this comparison provides little understanding of how difficult each instance in a given distribution is, or what attributes make the dataset difficult for a given model. To address these questions, we frame dataset difficulty -- w.r.t. a model $\mathcal{V}$ -- as the lack of $\mathcal{V}$-$ extit{usable information}$ (Xu et al., 2019), where a lower value indicates a more difficult dataset for $\mathcal{V}$. We further introduce $ extit{pointwise $\mathcal{V}$-information}$ (PVI) for measuring the difficulty of individual instances w.r.t. a given distribution. While standard evaluation metrics typically only compare different models for the same dataset, $\mathcal{V}$-$ extit{usable information}$ and PVI also permit the converse: for a given model $\mathcal{V}$, we can compare different datasets, as well as different instances/slices of the same dataset. Furthermore, our framework allows for the interpretability of different input attributes via transformations of the input, which we use to discover annotation artefacts in widely-used NLP benchmarks.

研究の動機と目的

• 標準的なデータセット難易度評価が、モデルと人間の性能差の集計値に依存するのみであるため、解釈可能性に欠けるという問題に対処すること。
• モデルに実際に利用可能な情報量を定量化する、モデル固有の難易度指標を開発すること。
• 個々のインスタンスやデータスライスの細分化分析を可能にし、広く使われている NLP ベンチマークに潜む隠れたバイアスやアノテーションアーチファクトを特定すること。
• 不確実性ベースや IRT ベースの難易度推定に対する、安定性があり解釈可能で計算的に根拠のある代替手法を提供すること。

提案手法

• 予測可能な $Π$-情報（$I_{Π}(X\to Y)$）を用いて定義される、$Π$-利用可能情報の欠如としてデータセット難易度を形式化する。これは、モデルの制約下で抽出可能な情報量を測定する。
• 個々の入力に対するモデルの予測能力に基づき、ポイントワイズ $Π$-情報（pvi）を、インスタンスごとの難易度測定指標として導入する。
• 入力変換（例：語のシャッフル、同義語置換）を用いて、特定の入力属性が $Π$-利用可能情報に与える寄与を分離する。
• 異なるモデル、学習シード、学習ステップでの pvi 値を比較し、人間の判断と相関する安定性を検証する。
• 入力属性を操作した後の $Π$-利用可能情報の変化を測定することで、アノテーションアーチファクトの検出にフレームワークを応用する。
• 同じモデル下でデータセットやスライスを比較することで、クロスデータセット難易度分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特定のモデル $Π$ が実際に利用可能な情報の使いやすさを反映する形で、データセット難易度を形式的に定量化する方法は何か？
• RQ2 ポイントワイズ $Π$-情報（pvi）は、人間がアノテートした難易度およびモデルの予測精度とどの程度相関するか？
• RQ3 特定のモデルに対して、あるデータセットにおける情報の使いやすさに最も寄与する入力属性は何か？
• RQ4 $Π$-利用可能情報を使って、NLP ベンチマークにおける体系的なアノテーションアーチファクトをどのように検出できるか？

主な発見

• Stanford NLI（SNLI）データセットは、MultiNLI や CoLA よりも顕著に高い BERT-利用可能情報量を有しており、これは BERT が SNLI で優れた性能を発揮する理由を説明する。
• 異なるモデル、学習シード、学習時間において、pvi 値は非常に高い相関（ピアソン $r \geq 0.75$）を示し、安定性と信頼性を裏付ける。
• pvi 値が低いインスタンスではアノテーター間合意度も低く、モデルの予測精度も低いことが確認され、pvi が難易度の代理指標として妥当であることが検証された。
• SNLI において、語の順序は BERT-利用可能情報にほとんど影響しないことが判明し、モデルが意味的構造ではなく浅い手がかりに依存している可能性を示唆する。
• CoLA において、最も難しいインスタンスの一部は誤標記されていることが、低 pvi 値と高いモデルの不確実性から示された。
• ハラスメント発言検出データセットにおいて、わずか 50 語の潜在的に攻撃的と思われる語が、大部分の BERT-利用可能情報に寄与しており、検出されないバイアスのリスクがあることが示された。