[논문 리뷰] Don't Blame the Annotator: Bias Already Starts in the Annotation Instructions

Mihir Parmar, Swaroop Mishra외 2명|arXiv (Cornell University)|2022. 05. 01.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 인코딩된 NLU 벤치마크 제작에 사용되는 애너테이션 지침 패턴에서 기인하는 '지시 편향(instruction bias)'을 규명한다. 14개의 벤치마크를 분석한 결과, 지시 예시에 반복적인 언어 패턴(예: '이름은 무엇인가요?')이 존재하며, 이는 애너테이터에 의해 체계적으로 반복되어 학습 데이터에 과도하게 반영되며, 이로 인해 모델이 과제의 핵심 개념보다는 이러한 패턴에 과도하게 적응하게 되어 성능 평가가 과대평가되고 일반화 능력이 떨어진다.

ABSTRACT

In recent years, progress in NLU has been driven by benchmarks. These benchmarks are typically collected by crowdsourcing, where annotators write examples based on annotation instructions crafted by dataset creators. In this work, we hypothesize that annotators pick up on patterns in the crowdsourcing instructions, which bias them to write many similar examples that are then over-represented in the collected data. We study this form of bias, termed instruction bias, in 14 recent NLU benchmarks, showing that instruction examples often exhibit concrete patterns, which are propagated by crowdworkers to the collected data. This extends previous work (Geva et al., 2019) and raises a new concern of whether we are modeling the dataset creator's instructions, rather than the task. Through a series of experiments, we show that, indeed, instruction bias can lead to overestimation of model performance, and that models struggle to generalize beyond biases originating in the crowdsourcing instructions. We further analyze the influence of instruction bias in terms of pattern frequency and model size, and derive concrete recommendations for creating future NLU benchmarks.

연구 동기 및 목표

• NLU 벤치마크의 애너테이션 지침에 애너테이터가 쉽게 인지하고 모방할 수 있는 반복적인 언어 패턴이 존재하는지 조사하기.
• 이러한 패턴이 지시 예시에서 최종 확보된 데이터셋으로 전파되는 정도를 검토하기.
• 지시 편향이 모델 성능과 일반화 능력에 미치는 영향을 평가하기.
• 향후 벤치마크 제작 시 지시 편향을 줄이기 위한 실천 가능한 권고안 제공하기.

제안 방법

• 최근 14개의 NLU 벤치마크에서 애너테이션 지침 내 반복적인 언어 패턴을 분석하였다.
• 이러한 패턴의 빈도를 지시 예시와 최종 학습/테스트 세트에서 수치화하였다.
• 지시 패턴이 포함된 데이터 서브셋과 포함되지 않은 데이터 서브셋에서 BART 모델을 학습하여 성능 격차를 측정하였다.
• NLP 석사 과정 학생들을 대상으로 제어된 설문 조사를 실시하여, 지시에 예시가 포함되었을 때와 아닐 때의 패턴 다양성을 비교하였다.
• 지시 패턴 빈도와 모델 성능 격차 사이의 상관관계를 통계 분석을 통해 확인하였다.
• 편향 전파를 최소화하는 지시 템플릿 설계를 위한 권고안을 제안하였다.

실험 결과

연구 질문

• RQ1 NLU 벤치마크의 커뮤니티 기반 애너테이션 지침에 애너테이터가 쉽게 인지하고 모방할 수 있는 반복적인 언어 패턴이 존재하는가?
• RQ2 이러한 패턴이 지시 예시에서 최종 확보된 데이터셋으로 얼마나 전파되는가?
• RQ3 지시 편향은 모델 성능에 어떤 영향을 미치며, 특히 과대평가와 일반화 실패 측면에서 어떻게 나타나는가?
• RQ4 모델 크기가 지시 편향에 대한 민감도에 어떤 영향을 미치는가?
• RQ5 향후 벤치마크 제작에서 지시 편향을 줄이기 위한 설계 원칙은 무엇인가?

주요 결과

• 14개의 벤치마크에서 지시 예시의 평균 73%가 명확하고 반복적인 언어 패턴을 보였다.
• 이러한 패턴은 수집된 데이터로 전파되어 평균적으로 학습 인스턴스의 61%를 차지하였다.
• 패턴 일치 예시에서의 성능은 비패턴 예시보다 유의미하게 높았으며, 테스트 세트에서 기준 모델 기준 평균 격차는 27.9%, 대형 모델 기준 22.2%였다.
• MultiRC와 같은 일부 데이터셋에서는 패턴과 비패턴 예시 간 성능 격차가 45.9%에 이르렀다.
• 지시 예시가 존재할 경우, 예시가 제공되지 않을 경우 대비 패턴 빈도가 최대 300%까지 증가하여 언어 다양성이 감소하였다.
• 대규모 모델은 지시 편향에 덜 민감하지만, 여전히 지시에 나타난 패턴을 초월한 일반화를 하지 못했다.