[논문 리뷰] Capturing Label Distribution: A Case Study in NLI

Shujian Zhang, Chengyue Gong외 1명|arXiv (Cornell University)|2021. 02. 13.

Natural Language Processing Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 자연어 추론(NLI) 모델의 캘리브레이션을 향상시키기 위해 예측된 레이블 분포를 인간 레이블 엔트로피와 일치시키는 후행적 스무딩 또는 다수의 레이블(예: 예제당 5~20개)을 가진 소수의 다중annotation 예제로 학습하는 방법을 제안한다. 두 방법 모두 인간 레이블 분포와의 KL 발산을 최대 50% 감소시키지만, 고정된 annotation 예산 하에서 다중annotation 학습만이 분포 추정과 예측 정확도를 모두 향상시킨다.

ABSTRACT

We study estimating inherent human disagreement (annotation label distribution) in natural language inference task. Post-hoc smoothing of the predicted label distribution to match the expected label entropy is very effective. Such simple manipulation can reduce KL divergence by almost half, yet will not improve majority label prediction accuracy or learn label distributions. To this end, we introduce a small amount of examples with multiple references into training. We depart from the standard practice of collecting a single reference per each training example, and find that collecting multiple references can achieve better accuracy under the fixed annotation budget. Lastly, we provide rich analyses comparing these two methods for improving label distribution estimation.

연구 동기 및 목표

• 자연어 추론(NLI) 작업에서 인간의 본질적 불일치(레이블 분포) 추정을 향상시키는 것.
• 후행적 캘리브레이션과 다중annotation 학습 중 어느 것이 인간 레이블 분포 모델링에 더 효과적인지 조사하는 것.
• 고정된 annotation 예산 하에서 단일 레퍼런스로 더 많은 예제를 레이블링하는 것과 다수의 레퍼런스로 더 적은 예제를 레이블링하는 것 사이의 트레이드오프를 평가하는 것.
• 모호한 NLI 예제에서 분포 기반 지표의 성능 평가 한계를 분석하는 것.

제안 방법

• 모델이 예측한 레이블 분포의 엔트로피가 인간 레이블 분포와 일치하도록 온도 스케일링과 레이블 스무딩을 적용하여 모델 캘리브레이션을 수행한다.
• 각 예제가 다수의 레이블(5~20개)로 annotation된 데이터셋의 일부를 사용해 RoBERTa 모델을 학습한다. 단일 레퍼런스 대신 다수의 레이블을 사용한다.
• 고정된 annotation 예산을 기준으로 두 전략을 비교한다: 단일 레퍼런스로 많은 예제를 레이블링하는 것 vs. 다수의 레퍼런스로 적은 예제를 레이블링하는 것.
• 예측 분포의 엔트로피를 포함해 젠슨-쇼난 발산(JSD), 클로이비시안-라이블러(KL) 발산, 원래 및 새로운 골드 레이블에 대한 정확도를 측정하여 성능을 평가한다.
• 진정한 인간 레이블 분포를 추정하기 위해 예제당 100개의 인간 레이블을 가진 ChaosSNLI 및 ChaosMNLI 데이터셋을 사용한다.
• 분포 기반 및 정확도 지표 측면에서 후행적 캘리브레이션 기법(온도 스케일링, 예측 스무딩, 학습 시 스무딩)을 다중annotation 학습과 비교한다.

실험 결과

연구 질문

• RQ1 후행적 캘리브레이션을 통해 모델 예측 레이블 분포의 KL 발산을 인간 annotation 레이블 분포와 줄일 수 있는가?
• RQ2 고정된 annotation 예산 하에서 각 예제에 다수의 인간 annotation을 통합하면 분포 추정과 예측 정확도가 모두 향상되는가?
• RQ3 다양한 캘리브레이션 기법(예: 온도 스케일링, 레이블 스무딩)은 정확도 향상 없이 분포 기반 지표를 얼마나 향상시키는가?
• RQ4 다중annotation 학습의 효과는 예제당 레이블 수나 다중annotation 대상 예제 선정 전략에 민감한가?
• RQ5 JSD 및 KL 발산과 같은 분포 기반 지표는 모호한 NLI 예제에서 실제 예측 정확도와 상관이 있는가?

주요 결과

• 온도 스케일링을 통한 후행적 캘리브레이션은 ChaosSNLI에서 예측 및 인간 레이블 분포 간 KL 발산을 약 50% 감소시켰다(0.468에서 0.281로), 그러나 정확도는 향상되지 않았다.
• 소수의 다중annotation 예제(예: 100개 예제당 5개 레이블)로 학습하면 ChaosSNLI에서 KL 발산은 0.203, JSD는 0.183으로 감소하여 모든 캘리브레이션 기법을 초월했다.
• 다중annotation 학습은 ChaosSNLI에서 새로운 골드 레이블에 대한 정확도를 0.690에서 0.740으로, ChaosMNLI에서는 0.646에서 0.690으로 향상시켰지만, 캘리브레이션 기법은 정확도 향상 없이 그쳤다.
• 레이블 스무딩은 함의 또는 모순 레이블에 할당된 최소 확률을 기준값 0.02에서 0.06으로 증가시켰지만, 다중annotation 학습은 이를 0.04로 높여 더 균형 잡힌 예측을 유도했다.
• 다중annotation 학습의 이점은 RoBERTa 및 ALBERT와 같은 다양한 모델 아키텍처와 레이블 수(5-, 10-, 20-way)에 걸쳐 뚜렷하게 유지되어 하이퍼파라미터 선택에 민감하지 않음을 시사했다.
• 모호성 또는 난이도 기반으로 예제를 선별하는 것은 미미한 영향을 미쳤으며, 학습하기 쉬운 예제가 가장 효과적이지 않았지만, 전체적인 영향은 작았다.