[논문 리뷰] Distributed NLI: Learning to Predict Human Opinion Distributions for Language Reasoning

Xiang Zhou, Yixin Nie외 1명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어 추론에서 인간 평가의 분포를 예측하는 데 목표를 두는 새로운 NLU 과제인 Distributed NLI를 소개한다. 단일 레이블 분류를 넘어서, MC Dropout, Deep Ensemble, Re-Calibration, Distribution Distillation와 같은 분포 추정 방법을 적용함으로써 모델들은 소프트맥스 기반 모델을 크게 앞서며 성능을 높였다. 특히 Re-Calibration는 추가적인 분포 주석 정보를 활용해 가장 우수한 성능을 기록했지만, 여전히 인간의 상한선에 크게 못 미치는 수준이다.

ABSTRACT

We introduce distributed NLI, a new NLU task with a goal to predict the distribution of human judgements for natural language inference. We show that by applying additional distribution estimation methods, namely, Monte Carlo (MC) Dropout, Deep Ensemble, Re-Calibration, and Distribution Distillation, models can capture human judgement distribution more effectively than the softmax baseline. We show that MC Dropout is able to achieve decent performance without any distribution annotations while Re-Calibration can give further improvements with extra distribution annotations, suggesting the value of multiple annotations for one example in modeling the distribution of human judgements. Despite these improvements, the best results are still far below the estimated human upper-bound, indicating that predicting the distribution of human judgements is still an open, challenging problem with a large room for improvements. We showcase the common errors for MC Dropout and Re-Calibration. Finally, we give guidelines on the usage of these methods with different levels of data availability and encourage future work on modeling the human opinion distribution for language reasoning. Our code and data are publicly available at https://github.com/easonnie/ChaosNLI

연구 동기 및 목표

• 자연어 추론에서 인간 평가의 전체 분포를 예측하는 데 목표를 두는 새로운 NLU 과제인 Distributed NLI를 체계화하고 정의하는 것.
• 기존 딥러닝 기법이 NLI의 인간 주석에서 발생하는 불확실성과 변동성을 효과적으로 모델링할 수 있는지 조사하는 것.
• 추가적인 분포 주석 정보가 모델 성능에 미치는 영향을 평가하고, 저자료 또는 도메인 외부 설정에서의 분포 인식 모델링의 타당성을 평가하는 것.
• 자원과 데이터 가용성에 따라 분포 추정 기법을 선택하는 데 도움이 되는 지침을 제공하는 것.
• 현재 기법의 한계를 부각하고 언어 추론 과제에서 인간의 의견 분포를 모델링하는 데 향후 연구를 장려하는 것.

제안 방법

• 표준 NLI 과제를 수정하여 세 가지 레이블(함의, 중립, 모순)에 대한 확률 분포를 예측하도록 하고, 단일 예측 레이블이 아닌 분포를 출력하도록 하는 것.
• 예측 불확실성과 분포 캘리브레이션 향상을 위해 Monte Carlo Dropout(MC Dropout), Deep Ensemble, Re-Calibration, Distribution Distillation의 네 가지 분포 추정 기법을 적용하는 것.
• MC Dropout를 사용하여 테스트 시에 드롭아웃을 적용해 다중 전방 전파를 수행하고 예측 분산을 추정함으로써 예측에 대한 분포를 형성하는 것.
• Re-Calibration을 구현하기 위해 분포 주석 데이터를 기반으로 온도 스케일링 방법을 사용해 모델 로짓을 재가중함으로써 신뢰도 캘리브레이션을 향상시키는 것.
• 인간 주석 분포에서 유도된 소프트 레이블을 사용해 교차 엔트로피 손실을 최적화함으로써 지식 정착과 일반화 능력 향상을 가능하게 하는 것.
• 도메인 내 및 도메인 외 테스트 세트에서 방법을 평가하여 예측 분포와 인간 주석 분포 간의 유사도를 KL 발산 및 Brier 점수와 같은 지표로 비교하는 것.

실험 결과

연구 질문

• RQ1 단일 레이블 NLI 데이터로 훈련된 딥러닝 모델이 NLI 예제에 대한 인간 평가의 전체 분포를 효과적으로 예측할 수 있는가?
• RQ2 MC Dropout, Deep Ensemble, Re-Calibration, Distribution Distillation와 같은 다양한 분포 추정 기법이 인간의 의견 분포를 얼마나 잘 포괄하는가?
• RQ3 추가적인 분포 주석 정보가 인간 평가 분포 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 이러한 방법들은 도메인 내 미세조정 없이 도메인 외부 테스트 세트로도 잘 일반화되는가?
• RQ5 MC Dropout 및 Re-Calibration이 분포 예측에서 공통적으로 나타나는 실패 유형과 한계는 무엇인가?

주요 결과

• MC Dropout, Deep Ensemble, Re-Calibration, Distribution Distillation의 네 가지 분포 추정 기법 모두 표준 소프트맥스 기반 모델에 비해 인간 평가 분포 예측에서 유의미하게 뛰어난 성능을 기록했다.
• MC Dropout는 분포 주석 정보가 전혀 필요 없이도 강력한 성능을 기록하여 불확실성 추정을 위한 즉각 적용 가능한 방법으로서의 효과를 입증했다.
• 추가적인 분포 주석 정보가 제공될 경우 Re-Calibration이 테스트된 모든 방법 중에서 가장 뛰어난 성능을 기록했다.
• 성능 향상에도 불구하고 가장 우수한 모델(Re-Calibration)은 여전히 추정된 인간 상한선에 크게 못 미치며, 이는 과제가 여전히 도전적인 과제임을 시사한다.
• MC Dropout 및 Re-Calibration은 도메인 내 훈련 데이터 없이도 도메인 외부 테스트 세트로의 일반화 능력이 양호하여 다양한 도메인 간의 강건성을 보여준다.
• MC Dropout 및 Re-Calibration의 공통적인 오류는 중립 예측에서의 과신과 모호하거나 담론적 복잡도가 높은 예제에서 소수 의견의 변화를 포착하지 못하는 데 있다.