[논문 리뷰] Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark

Nikita Nangia, Samuel R. Bowman|arXiv (Cornell University)|2019. 05. 24.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 최소한의 훈련을 받은 커뮤니티 작업자들을 활용하여 GLUE 벤치마크에서 보수적인 인간 성능 기준을 제공한다. 평균 점수는 87.1을 기록하며, 이는 BERT(80.5)와 BigBird(83.9)보다 9개 과제 중 6개에서 뛰어나다. 그러나 성능 격차는 좁아, 향후 성과 향상의 여유가 제한적임을 시사하며, 신경망 모델의 저자원 학습에 있어 도전 과제임을 강조한다.

ABSTRACT

The GLUE benchmark (Wang et al., 2019b) is a suite of language understanding tasks which has seen dramatic progress in the past year, with average performance moving from 70.0 at launch to 83.9, state of the art at the time of writing (May 24, 2019). Here, we measure human performance on the benchmark, in order to learn whether significant headroom remains for further progress. We provide a conservative estimate of human performance on the benchmark through crowdsourcing: Our annotators are non-experts who must learn each task from a brief set of instructions and 20 examples. In spite of limited training, these annotators robustly outperform the state of the art on six of the nine GLUE tasks and achieve an average score of 87.1. Given the fast pace of progress however, the headroom we observe is quite limited. To reproduce the data-poor setting that our annotators must learn in, we also train the BERT model (Devlin et al., 2019) in limited-data regimes, and conclude that low-resource sentence classification remains a challenge for modern neural network approaches to text understanding.

연구 동기 및 목표

• 비전문가 커뮤니티 작업자들을 활용하여 GLUE 벤치마크에서 인간 성능의 신뢰할 수 있고 보수적인 추정치를 확립하기 위해.
• 문장 이해 과제에서 신경망 모델이 인간 성능을 뛰어넘기 위해 여전히 큰 성과 향상 여유가 있는지 평가하기 위해.
• 특히 저자원 환경에서 BERT의 성능에 대한 제한된 훈련 데이터의 영향을 평가하기 위해.
• 왜 일부 과제, 예를 들어 WNLI는 높은 인간 성능에도 불구하고 신경망 모델에 여전히 어려움을 주는지 조사하기 위해.

제안 방법

• 커뮤니티 작업자들에게 각 GLUE 과제를 학습하기 위해 간단한 지침과 20개의 예제를 제공한 후, 테스트 세트의 무작위 부분집합을 레이블링하도록 하였다.
• 각 예제에 대해 5명의 평가자가 레이블을 제출하였고, 인간 성능 점수는 다수결 투표 결과를 기반으로 계산되었다.
• 인간 성능은 전체 훈련 세트로 미세조정된 BERT 및 BigBird 모델과 비교되었으며, 성능 차이는 델타 값으로 기재되었다.
• 저자원 환경에서의 성능 평가를 위해 추가로 BERT의 훈련 데이터를 줄인 조건(5,000개, 1,000개, 500개 예제)에서의 미세조정 실험을 수행하였다.
• 표준 GLUE 메트릭을 사용하여 성능을 평가하였으며, 이는 정확도, F1 점수, 매튜스 상관계수, 피어슨/스피어만 상관계수를 포함한다.
• 5명의 평가자가 동일한 의견을 낸 예제 부분집합을 분석하여 인간의 신뢰성과 고합의도 사례에서의 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 BERT 및 BigBird와 같은 최신 신경망 모델과 비교하여 GLUE 벤치마크에서 인간 성능은 어떻게 되는가?
• RQ2 GLUE 과제에서 인간과 기계 성능 간의 잔여 성과 향상 여유는 어느 정도인가?
• RQ3 BERT의 성능는 제한된 훈련 데이터로 미세조정될 경우 어떻게 저하되는가? 이는 저자원 NLP에 어떤 의미를 갖는가?
• RQ4 왜 일부 과제, 예를 들어 WNLI는 높은 인간 성능에도 불구하고 신경망 모델에 여전히 어려움을 주는가?
• RQ5 MRPC 및 QQP와 같은 과제에서 모호하거나 정확도가 떨어지는 평가 지침이 인간과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• GLUE 전체 벤치마크에서 인간 성능의 평균은 87.1로, BERT의 80.5와 BigBird의 83.9를 초월하였다.
• 9개 과제 중 6개 과제에서 커뮤니티 작업자 성능가 BERT와 BigBird를 모두 뛰어넘었으며, 이는 SST-2(97.8 vs. 94.9), QNLI(91.2 vs. 92.7), RTE(93.6 vs. 70.1)에서도 해당되었다.
• 저자원 환경에서는 BERT의 성능이 크게 저하되었다: CoLA에 대해서는 500개의 훈련 예제만으로도 68.5점, MRPC에서는 37.2점으로 인간 성능 이하에 머물렀다.
• CoLA(Δ = 6.6), MRPC(Δ = 5.9), QQP(Δ = 5.1), WNLI(Δ = 30.8)에서 BERT와 인간 간 성능 격차가 확대되었으며, 이는 BERT가 미묘한 이해가 필요한 과제에서 어려움을 겪음을 시사한다.
• 5명의 평가자가 동일한 의견을 낸 부분집합에서 인간 성능은 CoLA에서 93.7, WNLI에서 97.5에 도달했으나, BERT는 각각 83.5와 59.3점으로 낮게 기록되어, BERT가 고합의도·고난이도 예제에서 실패함을 보여준다.
• BigBird는 대부분의 과제에서 BERT를 능가했으며, 특히 RTE에서 95.8* 대 70.1로 뛰어난 성능을 보여, 다중 과제 미세조정이 저자원 환경에서 유리함을 보였다.