[논문 리뷰] What Can We Learn from Collective Human Opinions on Natural Language Inference Data?

Yixin Nie, Xiang Zhou외 1명|arXiv (Cornell University)|2020. 10. 07.

Topic Modeling참고 문헌 37인용 수 4

한 줄 요약

이 논문은 SNLI, MNLI, αNLI와 같이 널리 사용되는 NLI 벤치마크에서 고도의 인간 간 이견이 여전히 지속됨을 드러내는 대규모 데이터셋인 ChaosNLI를 소개한다. 이 데이터셋은 4,645개의 NLI 예제에 대해 총 464,500건의 인간 레이블을 포함한다. 연구는 최신 모델이 대부분의 오류가 발생하는 저합의도 예제에서는 거의 무작위 수준으로 성능을 보이며, 단일 골드 레이블이 아닌 인간 의견의 전반적인 분포를 기반으로 한 평가가 필요하다는 점을 입증한다. 이는 다수 레이블 평가에만 의존하는 기존 평가 방식의 한계를 드러낸다.

ABSTRACT

Despite the subjective nature of many NLP tasks, most NLU evaluations have focused on using the majority label with presumably high agreement as the ground truth. Less attention has been paid to the distribution of human opinions. We collect ChaosNLI, a dataset with a total of 464,500 annotations to study Collective HumAn OpinionS in oft-used NLI evaluation sets. This dataset is created by collecting 100 annotations per example for 3,113 examples in SNLI and MNLI and 1,532 examples in Abductive-NLI. Analysis reveals that: (1) high human disagreement exists in a noticeable amount of examples in these datasets; (2) the state-of-the-art models lack the ability to recover the distribution over human labels; (3) models achieve near-perfect accuracy on the subset of data with a high level of human agreement, whereas they can barely beat a random guess on the data with low levels of human agreement, which compose most of the common errors made by state-of-the-art models on the evaluation sets. This questions the validity of improving model performance on old metrics for the low-agreement part of evaluation datasets. Hence, we argue for a detailed examination of human agreement in future data collection efforts, and evaluating model outputs against the distribution over collective human opinions. The ChaosNLI dataset and experimental scripts are available at https://github.com/easonnie/ChaosNLI

연구 동기 및 목표

• 표준 NLI 데이터셋에서 인간 의견의 분포를 조사하여 다수 레이블이 진실로 간주되는 것에 대한 가정을 도전한다.
• 최신 NLU 모델이 다수 레이블을 예측하는 것 외에도 인간 레이블의 전체 분포를 포괄할 수 있는지 평가한다.
• 모델 성능이 인간 합의 수준과 관련이 있는지, 저합의도 예제가 모델 오류의 주요 원인인지 평가한다.
• 다수 레이블 정확도에서 탈피하여 집단적 인간 판단의 분포를 모델링하는 데 초점을 맞춘 평가 방식의 전환을 주장한다. 특히 실용적이고 주관적인 NLU 과제에서 그러한 전환이 중요하다.

제안 방법

• SNLI 및 MNLI-유사 예제 3,113건과 αNLI 1,532건에 대해 각각 100건의 인간 레이블을 수집하여 총 464,500건의 레이블을 확보한다.
• 각 예제의 인간 레이블 분포의 엔트로피를 계산하여 인간 합의 수준을 정량화하고, 이는 예제의 난이도를 측정하는 지표로 사용한다.
• 표준 분류 헤드를 사용하여 동일한 NLI 과제에서 최신 모델들(BERT, RoBERTa, XLNet, ALBERT, DistilBERT, BART)을 훈련하고 평가한다.
• 표준 정확도 외에도, 모델의 소프트맥스 출력과 실제 인간 레이블 분포 간의 젠센-쇼넌 발산(Jensen-Shannon divergence, JSD) 및 쿨백-라이블러 발산(Kullback–Leibler, KL)과 같은 분포 기반 지표를 사용하여 모델 성능을 측정한다.
• 엔트로피(즉, 합의 수준) 기반으로 데이터셋을 박스로 분할하고, 이러한 박스 간 모델 정확도 및 분포 유사도를 비교한다.
• 모델 간 공통된 오류를 분석하여, 특히 저합의도 예제에서 나타나는 실패 패턴을 규명한다.

실험 결과

연구 질문

• RQ1 SNLI, MNLI, αNLI와 같은 표준 NLI 데이터셋에서, 인간 평가자가 훨씬 더 많은 수의 평가를 제공할 경우 고도의 인간 간 이견이 얼마나 퍼져 있는가?
• RQ2 최신 NLU 모델이 다수 레이블 외에도 인간 평가의 전체 분포를 얼마나 잘 예측할 수 있는가?
• RQ3 모델 성능이 인간 합의 수준과 상관관계가 있는가? 특히 인간 합의 수준이 낮은 예제에서 모델 성능이 뚜렷이 열 劣한가?
• RQ4 최신 모델이 자주 범하는 오류들이 주로 저합의도 예제에서 발생하는가? 이는 이러한 예제들이 가장 도전적인 케이스임을 시사하는가?
• RQ5 다수 레이블 정확도 외에 집단적 인간 의견의 분포를 기반으로 모델을 평가하는 것이 더 신뢰할 수 있고 정보가 풍부한 벤치마크가 될 수 있는가?

주요 결과

• αNLI, SNLI, MNLI-유사 데이터셋에서 10%에서 31%에 이르는 예제에서 심지어 각각 100건의 레이블이 제공된 상황에서도 고도의 인간 간 이견이 지속되며, 이는 다수 레이블이 진실로 간주되는 것의 타당성을 도전한다.
• 최신 모델은 고합의도 예제에서는 거의 완벽한 정확도(최대 0.9)를 달성하지만, 저합의도 박스에서는 무작위 수준(약 0.5) 이하로 성능을 보이며, 이는 모호한 케이스에 대한 일반화의 근본적 실패를 시사한다.
• 다수 레이블에서 높은 정확도를 달성하더라도, 높은 젠센-쇼넌 발산(JSD)과 KL 발산을 통해 인간 의견의 분포를 포착하지 못함을 입증한다.
• 최신 모델의 공통된 오류는 주로 데이터의 저합의도 서브셋에 집중되어 있으며, 이는 현재 NLU 평가에서 핵심 과제를 차지하고 있음을 시사한다.
• 인간 합의 수준은 모델 난이도의 강력한 지표이며, 모델 예측의 불확실성과도 상관관계가 있다. 이는 모델 校정 및 신뢰성 진단 도구로 활용될 수 있음을 뒷받침한다.
• 다수 레이블 외에도 인간 의견의 전체 분포를 기반으로 모델을 평가할 경우, 특히 실용적 추론과 주관적 추론 과제에서 모델 능력의 심각한 격차가 드러나며, 이는 평가 기준 전환의 필요성을 강력히 시사한다.