[논문 리뷰] Uncertainty Quantification with Pre-trained Language Models: A Large-Scale Empirical Analysis

Yuxin Xiao, Paul Pu Liang외 4명|arXiv (Cornell University)|2022. 10. 10.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 사전 훈련된 언어 모델(PLM)에서의 불확실성 측정에 대한 대규모 실험 연구를 제시하며, PLM 아키텍처, 크기, 불확실성 측정 방법, 미세조정 손실과 같은 핵심 설계 선택 사항을 평가한다. 연구 결과, 도메인 내 및 도메인 외 설정에서 모두 ELECTRA와 Focal Loss 미세조정, 온도 스케일링 재조정, 더 큰 모델 크기를 사용할 경우 NLP 분류 작업 전반에서 가장 우수한 校정 성능을 얻을 수 있음을 확인하였다.

ABSTRACT

Pre-trained language models (PLMs) have gained increasing popularity due to their compelling prediction performance in diverse natural language processing (NLP) tasks. When formulating a PLM-based prediction pipeline for NLP tasks, it is also crucial for the pipeline to minimize the calibration error, especially in safety-critical applications. That is, the pipeline should reliably indicate when we can trust its predictions. In particular, there are various considerations behind the pipeline: (1) the choice and (2) the size of PLM, (3) the choice of uncertainty quantifier, (4) the choice of fine-tuning loss, and many more. Although prior work has looked into some of these considerations, they usually draw conclusions based on a limited scope of empirical studies. There still lacks a holistic analysis on how to compose a well-calibrated PLM-based prediction pipeline. To fill this void, we compare a wide range of popular options for each consideration based on three prevalent NLP classification tasks and the setting of domain shift. In response, we recommend the following: (1) use ELECTRA for PLM encoding, (2) use larger PLMs if possible, (3) use Temp Scaling as the uncertainty quantifier, and (4) use Focal Loss for fine-tuning.

연구 동기 및 목표

• 안전이 중요한 NLP 애플리케이션에서 잘 校정된 PLM 기반 예측 파이프라인을 구축하기 위한 최적의 구성 요소를 규명하는 것.
• PLM 아키텍처, 크기, 불확실성 측정 방법, 미세조정 손실과 같은 다양한 선택 사항이 다양한 NLP 작업에서 校정 오차에 미치는 영향을 조사하는 것.
• 도메인 이탈 상황에서의 파이프라인 성능을 평가하여 도메인 외 설정에서의 강건성과 신뢰성을 평가하는 것.
• 세 가지 NLP 작업과 도메인 내/외 설정에서의 대규모 실험 평가 기반으로 실용적인 권고 사항을 제공하는 것.

제안 방법

• 감성 분석, 자연어 추론, 공리적 추론의 세 가지 NLP 분류 작업에서 대규모 실험 평가를 수행하였다.
• PLM 아키텍처, 크기, 불확실성 측정 방법, 미세조정 손실의 다양한 조합을 포함한 총 120개의 PLM 기반 파이프라인을 평가하였다.
• 분포 이질성 상황에서의 校정 강건성을 평가하기 위해 도메인 내 및 도메인 외 테스트 세트를 사용하였다.
• 기대 校정 오차(Expected Calibration Error, ECE), 최대 평균 校정 오차(Maximum Mean Calibration Error, MMCE), 선택적 예측 성능을 측정하여 校정을 평가하였다.
• 불확실성 신뢰성 평가를 위해 도메인 외 탐지 능력을 평가하기 위해 FAR95(95% 재현율에서의 거짓 경고 비율)를 사용하였다.
• 온도 스케일링을 통한 사후 校정을 적용하고, MC 드롭아웃 및 앙상블 방법과 비교하였다.

실험 결과

연구 질문

• RQ1 다양한 NLP 작업과 도메인 이탈 상황에서 가장 일관된 校정 성능을 보이는 사전 훈련된 언어 모델 아키텍처는 무엇인가?
• RQ2 모델 크기가 도메인 내 및 도메인 외 설정에서 校정 품질에 미치는 영향은 어떠한가?
• RQ3 온도 스케일링, MC 드롭아웃, 앙상블 등의 불확실성 측정 방법 중에서 PLM 기반 파이프라인에서 校정 오차를 가장 효과적으로 줄이는 것은 무엇인가?
• RQ4 교차 엔트로피, 포칼 손실, 레이블 스무딩, 브리어 손실, MMCE 등의 미세조정 손실 중에서 다양한 작업과 도메인에서 더 나은 校정 예측을 이끌어내는 것은 무엇인가?

주요 결과

• ELECTRA는 모든 세 가지 작업과 도메인 내/외 설정에서 다른 PLM들보다 일관되게 뛰어난 校정 품질을 보였다.
• 더 큰 PLM은 특히 공리적 추론 작업에서 도메인 내 校정 성능이 더 작은 모델 대비 뛰어나지 못함을 확인하였으며, 더 큰 모델일수록 유의미하게 더 나은 校정 성능을 보였다.
• 포칼 손실은 도메인 내 및 도메인 외 평가에서 가장 낮은 기대 校정 오차(Expected Calibration Error, ECE)를 기록했으며, 가장 우수한 FAR95 점수를 보여 도메인 외 탐지 능력이 뛰어나다는 것을 시사하였다.
• 온도 스케일링은 가장 효과적인 사후 불확실성 측정 방법으로, 특히 도메인 외 상황에서 校정 오차를 크게 감소시켰다.
• 앙상블 방법은 전통적 모델에서는 성공했지만, PLM 기반 파이프라인에 적용했을 땐 校정 오차 감소에 덜 효과적이었다.
• 레이블 스무딩과 브리어 손실은 도메인 외 校정 성능을 향상시켰지만, ECE를 낮추고 탐지 성능을 유지하는 데서 포칼 손실만큼 효과적이지는 않았다.