[논문 리뷰] Trusting RoBERTa over BERT: Insights from CheckListing the Natural Language Inference Task

Ishan Tarunesh, Somak Aditya외 1명|arXiv (Cornell University)|2021. 07. 15.

Topic Modeling참고 문헌 37인용 수 9

한 줄 요약

이 논문은 NLI 모델의 추론 능력을 평가하기 위해 194개의 템플릿을 포함한 대규모 템플릿 기반 테스트 세트(_CheckListNLI_)를 소개한다. 이 테스트 세트는 총 184만 개의 예제를 포함하고 있으며, RoBERTa는 인간 예측 정확도에서 12.5% 향상된 것으로 나타나 더 높은 일관성과 예측 가능성성을 보였지만, BERT와 RoBERTa 모두 템플릿 간 및 템플릿 내에서 심각한 이질성 문제를 보이며, 행동 테스트로부터 모델 행동을 일반화하는 데의 도전을 드러낸다.

ABSTRACT

The recent state-of-the-art natural language understanding (NLU) systems often behave unpredictably, failing on simpler reasoning examples. Despite this, there has been limited focus on quantifying progress towards systems with more predictable behavior. We think that reasoning capability-wise behavioral summary is a step towards bridging this gap. We create a CheckList test-suite (184K examples) for the Natural Language Inference (NLI) task, a representative NLU task. We benchmark state-of-the-art NLI systems on this test-suite, which reveals fine-grained insights into the reasoning abilities of BERT and RoBERTa. Our analysis further reveals inconsistencies of the models on examples derived from the same template or distinct templates but pertaining to same reasoning capability, indicating that generalizing the models' behavior through observations made on a CheckList is non-trivial. Through an user-study, we find that users were able to utilize behavioral information to generalize much better for examples predicted from RoBERTa, compared to that of BERT.

연구 동기 및 목표

• NLI 모델의 추론 능력을 평가하기 위한 포괄적이고 템플릿 기반의 테스트 세트를 개발하는 것.
• 최신 NLU 모델인 BERT와 RoBERTa의 다양한 추론 현상에 걸쳐 행동 일관성과 예측 가능성성을 평가하는 것.
• 특히 RoBERTa와 BERT를 비교할 때 인간 사용자가 행동 요약 정보를 바탕으로 모델 행동을 얼마나 잘 일반화할 수 있는지 조사하는 것.
• 모델의 이질성 행동이 인간의 신뢰도 및 모델 행동 예측에 미치는 영향을 정량화하는 것.

제안 방법

• TaxINLI 분류 체계에서 유래한 인과, 공간, 의미적 추론 등 총 17종의 추론 유형을 포함한 194개의 템플릿을 포함한 테스트 세트를 개발하기 위해 CheckList 방법론을 확장하였다.
• 템플릿 내에서 어휘와 문장 구조를 체계적으로 변화시켜 언어적 및 논리적 변형을 유도함으로써 총 184,000개의 예제를 생성하였다.
• BERT와 RoBERTa의 최종 [CLS] 토큰 임베딩을 사용하여 코사인 유사도를 계산하고 인간 연구를 위한 가장 가까운 이웃 예제를 식별하였다.
• 10명의 언어 올림피아드 참가자들을 대상으로 시뮬레이션 기반 인간 연구를 수행하여 인간이 행동 정보를 바탕으로 모델 예측을 얼마나 잘 예측할 수 있는지 평가하였다.
• 참가자의 예측 정확도와 상호 일치도를 측정하여 행동 요약이 인간의 일반화 능력을 향상시키는 데 얼마나 효과적인지 평가하였다.

실험 결과

연구 질문

• RQ1 BERT와 RoBERTa가 어휘 변화가 있을 때 템플릿 간 및 동일 템플릿 내에서 얼마나 일관된 행동을 보이는가?
• RQ2 CheckList 테스트 세트에서 행동 요약 정보를 제공받을 때 인간 사용자가 RoBERTa의 행동을 BERT의 행동보다 더 효과적으로 일반화할 수 있는가?
• RQ3 모델 예측의 이질성이 NLU 시스템에서 인간의 신뢰도 및 모델 행동 예측에 어떤 영향을 미치는가?
• RQ4 CheckList에서 분리된 행동 요약은 원시 모델 출력에 비해 인간이 모델 추론을 더 잘 이해하는 데 도움이 되는가?

주요 결과

• BERT와 RoBERTa 모두 어휘 변화가 있을 때 템플릿 간 및 템플릿 내에서 심각한 이질성을 보이며, 이는 비트라이비얼한 일반화 과제를 시사한다.
• 참가자들은 CheckList 예제를 활용해 RoBERTa의 행동을 예측할 때 BERT보다 12.5% 높은 정확도를 보였다.
• 참가자 간 상호 일치도는 BERT의 경우 74.75%에서 79.8%로 상승했고, RoBERTa의 경우 높은 수준을 유지하여 행동 요약이 인간의 추론 일관성을 향상시킨다는 것을 시사한다.
• 60%의 참가자가 BERT보다 RoBERTa의 행동을 더 쉽게 예측할 수 있다고 평가했으며, 이는 두 모델 모두 이질성을 보일지라도 실질적으로 RoBERTa가 더 예측 가능하다는 것을 시사한다.
• CheckList에서 유사도 기반으로 선별된 가장 가까운 이웃 예제가 참가자들한테 가장 유용하다고 평가되었으며, 특히 복잡한 경우의 모델 행동 이해에 도움이 되었다.