[논문 리뷰] Natural Language Inference with Mixed Effects

W. Horsley Gantt, Benjamin Kane외 1명|arXiv (Cornell University)|2020. 12. 01.

Topic Modeling참고 문헌 26인용 수 2

한 줄 요약

이 논문은 원시의 다중 평가자 자연어 추론 애너테이션을 신경망 모델에 직접 통합하는 혼합 효과 모델링 접근법을 제안한다. 이는 집계에 의해 유도되는 노이즈를 피하기 위한 것이다. 기존 신경망 아키텍처에 평가자별로 구분된 랜덤 효과를 통합함으로써, 평가자 변동성을 忽시하는 표준 모델들보다 모델 성능을 향상시킨다.

ABSTRACT

There is growing evidence that the prevalence of disagreement in the raw annotations used to construct natural language inference datasets makes the common practice of aggregating those annotations to a single label problematic. We propose a generic method that allows one to skip the aggregation step and train on the raw annotations directly without subjecting the model to unwanted noise that can arise from annotator response biases. We demonstrate that this method, which generalizes the notion of a mixed effects model by incorporating annotator random effects into any existing neural model, improves performance over models that do not incorporate such effects.

연구 동기 및 목표

• 집계된 레이블의 신뢰성에 악영향을 미치는 NLI 데이터셋 내의 애너테이션 불일치 문제를 해결하기 위해.
• 평가자 반응 편향으로 인해 노이즈가 유입될 수 있는 레이블 집계의 필요성을 제거하기 위해.
• 기존의 어떤 신경망 NLI 모델에도 평가자 랜덤 효과를 통합할 수 있는 일반적인 방법을 개발하기 위해.
• 학습 중에 평가자 간 변동성을 명시적으로 모델링하여 모델 성능을 향상시키기 위해.

제안 방법

• 기존 혼합 효과 모델을 일반화하여 신경망 아키텍처에 평가자별로 구분된 랜덤 효과를 도입한다.
• 각 평가자의 레이블 예측을 랜덤 효과로 간주하여, 개인별 평가자 성향과 편향을 포착한다.
• 원시 애너테이션 데이터를 기반으로 엔드 투 엔드로 학습하여, 집계 없이도 모든 가용한 애너테이션 데이터를 유지한다.
• 모든 신경망 NLI 모델과 호환되며, 평가자 효과를 즉각 통합할 수 있는 플러그인 방식을 제공한다.
• 예측 레이블과 공준에서의 평가자별 편차를 고려하여 손실 함수를 수정한다.

실험 결과

연구 질문

• RQ1 표준 집계 기반 방법과 비교해, 신경망 모델 내에서 평가자 변동성을 직접 모델링하면 NLI 성능이 향상되는가?
• RQ2 평가자 랜덤 효과를 통합함으로써 모델의 강건성과 NLI 벤치마크에서의 일반화 능력은 어떻게 영향을 받는가?
• RQ3 제안된 방법이 원시 애너테이션 데이터 내의 평가자 편향 영향을 어느 정도 감소시키는가?

주요 결과

• 평가자 변동성을 고려하지 않는 모델들에 비해 제안된 방법이 모델 성능을 향상시킨다.
• 집계를 피름으로써 학습 데이터 내 평가자 반응 편향으로 인한 노이즈를 감소시킨다.
• 평가자 랜덤 효과의 통합은 다양한 애너테이션 패턴에서 더 신뢰할 수 있고 안정된 예측을 이끌어낸다.
• 다양한 신경망 아키텍처로도 잘 일반화되어, 광범위한 적용 가능성을 보여준다.