[논문 리뷰] HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference

Tianyu Liu, Xin Zheng외 2명|arXiv (Cornell University)|2020. 03. 05.

Topic Modeling참고 문헌 2인용 수 11

한 줄 요약

이 논문은 자연어 추론(NLI) 모델이 전제-가설 추론이 아닌 가설 내 인위적인 패턴에 의존하는 '가설 전용 편향'을 연구하고 완화하기 위한 HypoNLI 프레임워크를 소개한다. 특정 레이블과 관련된 유사한 어휘 패턴(예: '비디오 게임' → 모순)을 추출함으로써, 어려운(패턴과 반대) 및 쉬운(패턴과 일치) 인스턴스를 포함한 대비 테스트 세트를 생성한다. 이로 인해 BERT나 RoBERTa와 같은 모델이 쉬운 세트에선 95% 이상의 정확도를 기록하지만, 어려운 세트에선 60% 미만으로 떨어지며, 이는 표면적인 신호에 크게 의존하고 있음을 드러낸다.

ABSTRACT

Many recent studies have shown that for models trained on datasets for natural language inference (NLI), it is possible to make correct predictions by merely looking at the hypothesis while completely ignoring the premise. In this work, we manage to derive adversarial examples in terms of the hypothesis-only bias and explore eligible ways to mitigate such bias. Specifically, we extract various phrases from the hypotheses (artificial patterns) in the training sets, and show that they have been strong indicators to the specific labels. We then figure out `hard' and `easy' instances from the original test sets whose labels are opposite to or consistent with those indications. We also set up baselines including both pretrained models (BERT, RoBERTa, XLNet) and competitive non-pretrained models (InferSent, DAM, ESIM). Apart from the benchmark and baselines, we also investigate two debiasing approaches which exploit the artificial pattern modeling to mitigate such hypothesis-only bias: down-sampling and adversarial training. We believe those methods can be treated as competitive baselines in NLI debiasing tasks.

연구 동기 및 목표

• NLI 모델이 전제-가설 추론이 아닌 가설 내 인위적인 패턴에 얼마나 의존하는지 조사하는 것.
• 특정 레이블과 강하게 관련된 훈련 데이터 내 유사한 어휘 패턴을 식별하고 추출하는 것(예: '비디오 게임' → 모순).
• 이러한 패턴을 바탕으로 '어려운' 인스턴스(인위적 패턴과 반대)와 '쉬운' 인스턴스(패턴과 일치)로 구성된 대비 테스트 세트를 구성하는 것.
• 쉬운 세트와 어려운 세트 간의 성능 격차를 평가하여 모델이 가설 전용 편향에 얼마나 의존하는지 정량화하는 것.
• 다운샘플링과 대비 학습과 같은 편향 제거 전략의 효과를 평가하는 것.

제안 방법

• SNLI와 MultiNLI 훈련 세트의 가설에서 빈도가 높은 다단어 및 단어형 패턴을 추출하고, 조건부 확률 p(레이블|패턴)를 계산한다.
• 추출된 패턴을 바탕으로 테스트 인스턴스를 '쉬운'(정답 레이블이 패턴의 의미와 일치) 및 '어려운'(정답 레이블이 패턴의 의미와 반대) 세트로 분류한다.
• BERT, RoBERTa, XLNet, InferSent, DAM, ESIM 등의 다양한 NLI 모델을 쉬운 세트와 어려운 세트 모두에서 학습하고 평가하여 성능 격차를 측정한다.
• 두 가지 편향 제거 기법을 적용한다: 편향된 훈련 인스턴스의 다운샘플링과 변형된 가설을 사용한 대비 학습.
• 패턴-레이블 조건부 확률을 활용해 가장 유의미한 어휘 표현(예: 'Nobody' → SNLI에서 99.7% 모순)을 식별하고, 이들이 모델 예측에 미치는 영향을 검증한다.
• 쉬운 세트와 어려운 세트에서의 모델 성능을 비교하여 가설 전용 편향의 정도를 정량화하며, 정확도 감소는 모델이 이러한 편향에 취약함을 시사한다.

실험 결과

연구 질문

• RQ1 SNLI와 MultiNLI에서 특정 NLI 레이블과 강하게 관련된 가설 내 인위적 어휘 패턴은 무엇인가?
• RQ2 최첨단 NLI 모델들이 전제-가설 추론이 아닌 이러한 인위적 패턴에 얼마나 의존하는가?
• RQ3 쉬운(패턴 일치) 및 어려운(패턴 반대) 테스트 인스턴스 간에 모델의 성능과 일반화 능력은 어떻게 달라지는가?
• RQ4 다운샘플링과 대비 학습은 NLI 모델의 가설 전용 편향을 효과적으로 줄일 수 있는가?
• RQ5 다양한 모델 아키텍처(사전학습된 vs. 비사전학습된)는 가설 전용 편향에 대해 어떻게 다른 민감도를 보이는가?

주요 결과

• 가설 내 인위적 패턴들, 예를 들어 'Nobody'나 '비디오 게임'은 특정 레이블과 매우 높은 상관관계를 보이며, 예를 들어 SNLI에서 'Nobody'는 99.7%의 정확도로 모순을 예측한다.
• InferSent과 같은 모델은 쉬운 인스턴스(패턴 일치)에선 95% 이상의 정확도를 기록하지만, 어려운 인스턴스(패턴 반대)에선 60% 이하로 급격히 떨어지며, 이는 인위적 신호에 강하게 의존하고 있음을 시사한다.
• BERT, RoBERTa, XLNet과 같은 고도로 발전한 모델들 역시 어려운 세트에서 심각한 성능 저하를 보이며, 복잡성에도 불구하고 가설 전용 편향에 취약함을 보여준다.
• 다운샘플링과 대비 학습과 같은 편향 제거 기법은 쉬운 세트와 어려운 세트 간의 성능 격차를 줄여주며, 이는 인위적 패턴 의존도를 완화하는 데 효과적임을 입증한다.
• 쉬운 세트와 어려운 세트 간의 성능 격차는 모델이 진정한 텍스트 함의 추론이 아닌 표면적인 패턴에 과도하게 피팅되어 있음을 강력한 지표로 제공한다.
• 본 연구는 표준 NLI 데이터셋으로 훈련된 모델들이 실제보다 과도하게 강건하다고 평가될 수 있으며, 이는 주로 애너테이션 아티팩트를 악용하고 있을 뿐 진정한 일반화 가능한 추론 패턴을 학습하지 못하고 있음을 드러낸다.