[논문 리뷰] Adversarial NLI: A New Benchmark for Natural Language Understanding

Yixin Nie, Adina Williams외 4명|arXiv (Cornell University)|2019. 10. 31.

Topic Modeling참고 문헌 63인용 수 66

한 줄 요약

소개 ANLI, 인간-와-모델-인-루프 절차로 세 라운드에 걸쳐 수집된 대규모 적대적으로 수집된 NLI 벤치마크로, 더 어려운 테스트 세트를 만들어 SNLI와 MNLI에서 ANLI 데이터로 학습 시 최첨단 성과를 달성합니다.

ABSTRACT

We introduce a new large-scale NLI benchmark dataset, collected via an iterative, adversarial human-and-model-in-the-loop procedure. We show that training models on this new dataset leads to state-of-the-art performance on a variety of popular NLI benchmarks, while posing a more difficult challenge with its new test set. Our analysis sheds light on the shortcomings of current state-of-the-art models, and shows that non-expert annotators are successful at finding their weaknesses. The data collection method can be applied in a never-ending learning scenario, becoming a moving target for NLU, rather than a static benchmark that will quickly saturate.

연구 동기 및 목표

• 더 오래 지속되며 기존 데이터셋을 넘어서는 더 어려운 NLI 벤치마크의 생성을 촉진하여 모델의 약점을 드러냅니다.
• 문제점을 목표로 하는 인간으로부터 적대적 예제를 반복적으로 수집하기 위해 HAMLET(Human-And-Model-in-the-Loop Enabled Training)을 제안합니다.
• ANLI 데이터로 학습하는 것이 강건성을 향상시키고 SNLI와 MNLI에서 최첨단 결과를 달성한다는 것을 보여줍니다.
• 현재 모델을 속이는 추론 유형을 분석하고 주석자 편향 및 데이터세트 역학을 평가합니다.

제안 방법

• HAMLET을 사용하여 난이도가 증가하는 세 라운드를 통해 반복적으로 NLI 데이터를 수집하는데, 이때 인간이 현재 모델을 오도하도록 의도된 가설을 작성합니다.
• 훈련 및 테스트 분할에서 대상 라벨이 올바른지 확실히 하기 위해 다수의 인간 검증자로 작문자의 정확성을 확인합니다.
• 누적 데이터에 대해 각 라운드마다 새로운 모델(및 후반 라운드의 앙상블)을 학습시키고, 검증된 오류에서만 새로운 테스트 세트를 생성합니다.
• 추론 난이도를 높이기 위해 다양한 소스(Wikipedia, HotpotQA, 뉴스, 픽션, 법률/오픈 도메인 대본)에서 가져온 더 길고 다문장 맥락을 사용합니다.
• 주석자가 제공한 설명과 예시별 추론 유형 라벨을 포함하여 모델의 약점을 더 정밀하게 분석할 수 있게 합니다.

실험 결과

연구 질문

• RQ1 인간-과-모델-인-루프 데이터 수집이 움직이는 더 어려운 NLI 벤치마크를 만들 수 있으며 현재 최첨단 모델에 미묘하게 저항하는가?
• RQ2 적대적 ANLI 데이터로의 학습이 표준 NLI 벤치마크(SNLI/MNLI) 및 스트레스 테스트에서 성능과 강건성을 향상시키는가?
• RQ3 현대 NLI 모델을 속이는 지배적인 추론 유형은 무엇이며 라운드 간에 모델의 약점은 어떻게 진화하는가?
• RQ4 독점적 테스트 주석자가 편향된 스타일을 유의하게 도입하는가, 그리고 이것이 일반화에 어떤 영향을 미치는가?
• RQ5 적대적 데이터가 강건성 향상에 전통적인 NLI 데이터보다 데이터 효율적인가?

주요 결과

• ANLI의 세 라운드 절차는 라운드가 진행될수록 테스트 세트를 점진적으로 더 어렵게 만들며 모델의 오류 비율이 감소합니다.
• ANLI에 미세조정된 RoBERTa는 SNLI에서 최첨단(SNLI 92.9)과 MNLI에서 최첨단(MNLI 91.0/90.7 매치/매치되지 않음)을 달성하며 이 벤치마크에서 기존 기준선을 능가합니다.
• ANLI 데이터로의 학습은 SNLI, MNLI, 스트레스 테스트 전반에서 강건성을 향상시키며, 적대적 예제가 표준 데이터보다 데이터 효율적임을 시사합니다.
• 가설만 있는 모델은 ANLI에서 특히 후반 라운드에서 성능이 저조한 편인데, 이는 피상적 가설 신호를 넘어선 추론에 실제로 의존함을 시사합니다.
• 독점적 테스트 주석자는 일반 테스트 세트와 차이가 거의 없으며 주석자 스타일에 대한 과적합이 제한적임을 나타냅니다.