[논문 리뷰] Investigating Biases in Textual Entailment Datasets

Shawn Tan, Yikang Shen외 2명|arXiv (Cornell University)|2019. 06. 23.

Multimodal Machine Learning Applications참고 문헌 14인용 수 5

한 줄 요약

이 논문은 SNLI 및 MultiNLI 텍스트 유추 데이터셋의 레이블 편향을 조사하며, 모델이 가설만을 사용해도 SNLI에서 64%의 정확도를 달성할 수 있음을 보여주어 강한 표면적 상관관계가 있음을 시사한다. 저자들은 가설-레이블 상관관계를 줄이기 위해 그reedy bigram 기반의 정제 방법을 제안하여, 유사한 패tern을 악용할 수 없는 훈련 데이터로 모델의 강건성을 향상시킨다.

ABSTRACT

The ability to understand logical relationships between sentences is an important task in language understanding. To aid in progress for this task, researchers have collected datasets for machine learning and evaluation of current systems. However, like in the crowdsourced Visual Question Answering (VQA) task, some biases in the data inevitably occur. In our experiments, we find that performing classification on just the hypotheses on the SNLI dataset yields an accuracy of 64%. We analyze the bias extent in the SNLI and the MultiNLI dataset, discuss its implication, and propose a simple method to reduce the biases in the datasets.

연구 동기 및 목표

• SNLI 및 MultiNLI 데이터셋이 VQA 데이터셋에서처럼 모델이 표면적 상관관계를 악용하는 유사한 편향을 포함하고 있는지 조사하기.
• 최신 RTE 모델이 진정한 텍스트 유추 추론이 아닌 이러한 편향에 과도하게 의존하는지 평가하기.
• 가설에 매우 예측 가능한 bigram이 포함된 인스턴스를 정제하여 훈련 데이터의 편향을 줄이기 위한 단순한 히우리스틱 기반 방법을 제안하기.
• 이러한 편향을 제거하면 가설 전용 분류에서 성능이 떨어지며, 이는 표면적 상관관계에 대한 의존도가 감소했음을 나타내기.
• 테스트 세트가 훈련 세트와 분포상으로 다를 수 있도록 데이터 분할 및 데이터셋 셋업을 재고하여 벤치마크 유효성을 높이기

제안 방법

• 가설 전용 분류기(RNN 기반)를 SNLI 및 MultiNLI에 대해 훈련시켜 가설만을 사용할 때의 성능을 측정함으로써, 임의의 정확도를 초월하는 성능로 편향을 드러내기.
• 훈련 및 테스트 세트의 가설에 대해 bigram 빈도 분석을 수행하여, 레이블 분포와 강하게 상관관계가 있는 n-gram을 식별하기.
• 훈련 세트에 대해 그레디티 정제 전략을 적용하여, 가장 예측 가능한 bigram을 가진 인스턴스를 제거함으로써 가설-레이블 상관관계를 감소시키기.
• ESIM 모델을 사용하여 정제된 데이터셋을 전체 RTE 작업에서 평가하고, 원본 및 무작위 정제 기준선과 비교하기.
• 정제가 가설 전용 및 전제-가설 분류 성능에 미치는 영향을 평가하여 편향 감소 효과를 측정하기.
• 모델 아키텍처를 수정하는 대신 데이터 분포를 수정하는 방식으로 편향 악용을 줄이기

실험 결과

연구 질문

• RQ1 SNLI 및 MultiNLI 데이터셋이 가설만을 사용해도 레이블을 예측할 수 있도록 하는 정도의 편향을 얼마나 포함하고 있는가?
• RQ2 이러한 편향이 최신 RTE 모델 평가에 미치는 영향은 무엇이며, 특히 성능을 과도하게 평가하는 데 기여하는가?
• RQ3 bigram 빈도 기반의 단순한 데이터 기반 정제 방법이 RTE 성능에 해를 끼치지 않으면서도 가설-레이블 상관관계를 줄일 수 있는가?
• RQ4 가설 수준의 편향을 줄이면 진정한 전제-가설 추론에 의존하는 더 강건한 모델이 만들어지는가?
• RQ5 훈련 세트와 테스트 세트의 분포가 유사할 경우 NLI 벤치마크 평가의 유효성에 어떤 영향을 미치는가?

주요 결과

• 가설 전용 분류기는 SNLI 테스트 세트에서 64%의 정확도를 기록하며, 이는 우연의 정확도를 크게 초월하여 가설과 레이블 간 강력한 표면적 상관관계가 있음을 시사한다.
• MultiNLI에서는 가설 전용 분류기가 불일치한 개발 세트에서 51%의 정확도를 기록하여, SNLI보다 표면적 편향이 덜 존재함을 시사한다.
• 제안된 그레디티 정제 방법은 SNLI에서 가설 전용 정확도를 64%에서 56%로 감소시켜 표면적 상관관계의 효과적인 완화를 보여준다.
• 테스트 세트 성능이 3% 감소했음에도 불구하고, 정제된 데이터셋은 가설 전용 정확도가 낮아져 표면적 특징에 대한 악용이 감소했음을 보여준다.
• 무작위 정제 기준선은 유사한 RTE 성능을 보였지만 가설 전용 정확도가 낮아, 효과가 예측 가능한 특징 제거 때문임을 확인한다.
• 결과적으로 현재 최신 모델의 점수는 진정한 유추 추론이 아닌 표면적 패턴에 의존함으로써 과도하게 평가되고 있을 가능성이 있다.