[論文レビュー] What Can We Learn from Collective Human Opinions on Natural Language Inference Data?

Yixin Nie, Xiang Zhou+1 more|arXiv (Cornell University)|Oct 7, 2020

Topic Modeling参考文献 37被引用数 4

ひとこと要約

この論文は、SNLI、MNLI、αNLI などの広く使われている NLI ベンチマークで高い人間の不一致が継続的に存在することを示す大規模なデータセット ChaosNLI を導入した。4,645 件の NLI 例に対して合計 464,500 件の人的アノテーションが行われ、最先端のモデルが低不一致例（大多数の誤りが発生する分野）ではほぼランダムな性能を示すことが明らかになった。これは、単一のゴールラベルに依存する評価手法の限界を示し、代替として人間の意見の全分布に対するモデルの評価を提唱するものである。

ABSTRACT

Despite the subjective nature of many NLP tasks, most NLU evaluations have focused on using the majority label with presumably high agreement as the ground truth. Less attention has been paid to the distribution of human opinions. We collect ChaosNLI, a dataset with a total of 464,500 annotations to study Collective HumAn OpinionS in oft-used NLI evaluation sets. This dataset is created by collecting 100 annotations per example for 3,113 examples in SNLI and MNLI and 1,532 examples in Abductive-NLI. Analysis reveals that: (1) high human disagreement exists in a noticeable amount of examples in these datasets; (2) the state-of-the-art models lack the ability to recover the distribution over human labels; (3) models achieve near-perfect accuracy on the subset of data with a high level of human agreement, whereas they can barely beat a random guess on the data with low levels of human agreement, which compose most of the common errors made by state-of-the-art models on the evaluation sets. This questions the validity of improving model performance on old metrics for the low-agreement part of evaluation datasets. Hence, we argue for a detailed examination of human agreement in future data collection efforts, and evaluating model outputs against the distribution over collective human opinions. The ChaosNLI dataset and experimental scripts are available at https://github.com/easonnie/ChaosNLI

研究の動機と目的

• 標準的な NLI データセットにおける人間の意見の分布を調査し、多数決ラベルが真値を表すという仮定に疑問を呈すること。
• 最先端の NLU モデルが多数決ラベルを予測するのではなく、人間のアノテーションの全分布を捉えられるかを評価すること。
• モデルのパフォーマンスが人間の不一致レベルと相関しているか、低不一致例がモデルの誤りの主な要因であるかを評価すること。
• 評価を多数決ラベルの正確性から、特に実用的で主観的な NLU タスクにおいて集団的人間判断の分布をモデル化することへのシフトを提唱すること。

提案手法

• SNLI および MNLI-マッチドの 3,113 例、αNLI の 1,532 例に対して、1 例あたり 100 件の人的アノテーションを収集し、合計 464,500 件のアノテーションを取得した。
• 各例における人間ラベル分布のエントロピーを計算し、人間の不一致レベルを定量化した。これは例の難易度の代理指標として用いた。
• 標準的な分類ヘッドを用いて、同じ NLI タスクで最先端のモデル（例：BERT、RoBERTa、XLNet、ALBERT、DistilBERT、BART）を訓練および評価した。
• 標準的な正確性に加え、モデルのソフトマックス出力と実証的人間ラベル分布との間の Jensen-Shannon 発散（JSD）および Kullback–Leibler（KL）発散を測定することで、モデルのパフォーマンスを評価した。
• エントロピー（つまり不一致レベル）に基づいてデータセットをボックスに分割し、これらのボックス間でモデルの正確性および分布類似度を比較した。
• モデル間の共通の誤りを分析し、特に低不一致例における失敗モードのパターンを特定した。

実験結果

リサーチクエスチョン

• RQ1 SNLI、MNLI、αNLI などの標準的 NLI データセットにおいて、人的アノテーションを著しく増やした場合、どの程度の高頻度の人間の不一致が見られるか？
• RQ2 最先端の NLU モデルは、多数決ラベルを予測するのではなく、人間のアノテーションの全分布をどの程度正確に予測できるか？
• RQ3 モデルのパフォーマンスは人間の不一致レベルと相関しているか？ 低不一致例ではモデルの性能が著しく低下するか？
• RQ4 最先端のモデルが犯す最も一般的な誤りは、主に人間の不一致が低い例に集中しているか？ これは、それらが最も困難なケースを表している可能性を示唆する。
• RQ5 多数決ラベルの正確性に依存するのではなく、集団的人間判断の分布に対するモデルの評価は、より信頼性が高く情報量が多いベンチマークを提供できるか？

主な発見

• αNLI、SNLI、MNLI-マッチドの全データセットにおいて、10％ から 31％ の例で高い人間の不一致が継続しており、1 例あたり 100 件のアノテーションを実施しても依然として顕著である。これは、多数決ラベルが真値としての妥当性を疑問視するものである。
• 最先端のモデルは高不一致例ではほぼ完璧な正確性（最大 0.9）を達成するが、最低不一致のボックスではランダムな性能（約 0.5）にとどまる。これは、曖昧なケースへの一般化に根本的な失敗を示している。
• Jensen-Shannon 発散（JSD）および KL 発散が高く、多数決ラベルの正確性が高水準でも、モデルは人間の意見の分布を捉えていない。
• 最先端モデルの共通の誤りは、主に低不一致サブセットに集中しており、これは現在の NLU 評価における核心的な課題を示している。
• 人間の不一致レベルはモデルの難易度の強力な指標であり、モデル予測の不確実性と相関している。これは、モデルのキャリブレーションと信頼性の診断ツールとしての利用価値を支持する。
• 多数決ラベルではなく、人間の意見の全分布に対するモデルの評価により、特に実用的推論や主観的推論タスクにおけるモデル能力の顕著なギャップが明らかになった。