[논문 리뷰] Evaluating NLP Models via Contrast Sets

Matt Gardner, Yoav Artzi외 24명|arXiv (Cornell University)|2020. 04. 06.

Topic Modeling참고 문헌 64인용 수 61

한 줄 요약

이 논문은 의미를 유지하면서 정답 레이블을 변경하는 테스트 인스턴스의 수동으로 생성된 변형인 대조 집합(contrast sets)을 소개한다. 이를 통해 자연어 처리(NLP) 데이터셋의 체계적 결함를 드러낸다. 대조 집합에서 모델을 평가함으로써 저자들은 원래 테스트 세트 대비 상당한 성능 저하(최대 25%)를 관측하였으며, 이는 모델가 종종 진정한 언어 이해가 아닌 단순하고 비강건한 결정 규칙에 의존하고 있음을 시사한다.

ABSTRACT

Standard test sets for supervised learning evaluate in-distribution generalization. Unfortunately, when a dataset has systematic gaps (e.g., annotation artifacts), these evaluations are misleading: a model can learn simple decision rules that perform well on the test set but do not capture a dataset's intended capabilities. We propose a new annotation paradigm for NLP that helps to close systematic gaps in the test data. In particular, after a dataset is constructed, we recommend that the dataset authors manually perturb the test instances in small but meaningful ways that (typically) change the gold label, creating contrast sets. Contrast sets provide a local view of a model's decision boundary, which can be used to more accurately evaluate a model's true linguistic capabilities. We demonstrate the efficacy of contrast sets by creating them for 10 diverse NLP datasets (e.g., DROP reading comprehension, UD parsing, IMDb sentiment analysis). Although our contrast sets are not explicitly adversarial, model performance is significantly lower on them than on the original test sets---up to 25\% in some cases. We release our contrast sets as new evaluation benchmarks and encourage future dataset construction efforts to follow similar annotation processes.

연구 동기 및 목표

• 표준 NLP 테스트 세트의 체계적 결함로 인해 유도되는 오해의 평가 문제를 해결하기 위해.
• 대조 집합을 생성하여 이러한 결함를 식별하고 수정하는 새로운 애너테이션 패러다임을 제안하기 위해.
• 소규모이지만 의미 있는 변형에 대한 강건성(robustness)을 측정하여 모델 평가의 정확도를 향상시키기 위해.
• 10개의 다양한 NLP 데이터셋에서 대조 집합의 효과성을 입증하여, 모델이 원래 테스트 세트보다 대조 집합에서 상당히 떨어지는 성능을 보임을 보여주기 위해.

제안 방법

• 데이터셋 구축 후, 저자들은 테스트 인스턴스를 소규모이자 의미적으로 중요한 방식으로 수동으로 변형한다. 일반적으로 정답 레이블이 변경된다.
• 변형은 최소한이면서 의미적으로 중요한 방식으로 설계되어 원래 인스턴스의 맥락은 유지하면서도 정답 레이블만 변경된다.
• 결과적으로 생성된 대조 집합은 모델의 결정 경계에 대한 局소적 시각을 제공하며, 모호한 패턴에 의존하고 있음을 드러낸다.
• 대조 집합은 DROP, IMDb, 의존성 파싱 작업 등 10개의 다양한 NLP 데이터셋에 대해 생성되었다.
• 모델은 원래 테스트 세트와 대조 집합 양쪽 모두에서 평가되어 성능 저하 정도를 측정한다.
• 이 방법은 적대적가 아니지만, 데이터셋 아티팩트로 인한 실패 케이스를 드러내어 모델의 취약성을 폭 드러낸다.

실험 결과

연구 질문

• RQ1 표준 NLP 테스트 세트의 체계적 결함로 인해 모델의 진정한 언어 능력 평가가 얼마나 실패하는가?
• RQ2 대조 집합은 모델이 비강건한 패턴에 의존하고 있음을 얼마나 효과적으로 드러내는가?
• RQ3 원래 테스트 세트 대비 대조 집합에서 성능 저하의 정도는 어느 정도인가?
• RQ4 다양한 NLP 작업에 걸쳐 대조 집합을 체계적으로 구축할 수 있는가? 이를 바탕으로 신뢰할 수 있는 평가 기준이 될 수 있는가?

주요 결과

• 대조 집합에서의 모델 성능은 원래 테스트 세트 대비 상당히 떨어졌으며, 일부 데이터셋에서는 최대 25%까지 감소하였다.
• 성능 저하의 원인은 모델가 일반화 가능한 언어 패턴을 학습하기보다는 데이터셋 아티팩트를 악용하고 있음을 시사한다.
• 대조 집합은 독해력 테스트, 감성 분석, 파싱 등 다양한 NLP 데이터셋에서 체계적 결함를 효과적으로 드러내었다.
• 이 제안된 방법은 적대적 훈련이나 복잡한 최적화를 요구하지 않지만, 효과적으로 모델의 약점을 드러낸다.
• 대조 집합은 향후 NLP 연구에서 더 강건한 데이터셋 구축을 장려하기 위해 새로운 평가 기준으로 공개되었다.
• 비적대적 변형이라도 모델 일반화의 심각한 결함를 드러낼 수 있음을 입증하였다.