[논문 리뷰] Uncertainty in Natural Language Processing: Sources, Quantification, and Applications

Mengting Hu, Zhen Zhang외 3명|arXiv (Cornell University)|2023. 06. 05.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

자연어 처리에서의 불확실성에 대한 포괄적 고찰로, 입력, 시스템, 출력에 걸친 원천을 개략하고, 추정 방법을 조사하며, 적용 및 도전과제를 검토한다.

ABSTRACT

As a main field of artificial intelligence, natural language processing (NLP) has achieved remarkable success via deep neural networks. Plenty of NLP tasks have been addressed in a unified manner, with various tasks being associated with each other through sharing the same paradigm. However, neural networks are black boxes and rely on probability computation. Making mistakes is inevitable. Therefore, estimating the reliability and trustworthiness (in other words, uncertainty) of neural networks becomes a key research direction, which plays a crucial role in reducing models' risks and making better decisions. Therefore, in this survey, we provide a comprehensive review of uncertainty-relevant works in the NLP field. Considering the data and paradigms characteristics, we first categorize the sources of uncertainty in natural language into three types, including input, system, and output. Then, we systemically review uncertainty quantification approaches and the main applications. Finally, we discuss the challenges of uncertainty estimation in NLP and discuss potential future directions, taking into account recent trends in the field. Though there have been a few surveys about uncertainty estimation, our work is the first to review uncertainty from the NLP perspective.

연구 동기 및 목표

• 입력, 시스템, 출력 단계에 걸친 NLP의 불확실성 원천을 식별하고 분류한다.
• NLP에서 사용되는 기존의 불확실성 정량화 방법을 검토하고 이를 모델 특성과 관련지어 설명한다.
• NLP에서 불확실성 추정의 현재 응용을 요약하고 도전과제 및 향후 방향을 논의한다.

제안 방법

• NLP 시스템 단계(입력, 시스템, 출력)별로 불확실성 원천을 분류하고 aleatoric(주관적)와 epistemic(지식 기반) 불확실성을 논의한다.
• 주요 불확실성 추정 방법 세 가지(보정 기반, 샘플링 기반, 분포 기반)를 검토한다.
• 일반적인 평가 지표를 개략하고 Softmax 기반 지표, 온도 보정, 라벨 매끄럽힘(label smoothing), 컨포멀 예측 등 보정 기법을 논의한다.
• 데이터 필터링/행동 가이드, 성능/효율 개선, 출력 품질 평가 등 응용을 종합한다.

Figure 1: An illustration of NLP systems applied in the medical domain.

실험 결과

연구 질문

• RQ1 입력, 시스템, 출력 단계에서 NLP 시스템의 주요 불확실성 원천은 무엇인가?
• RQ2 어떤 불확실성 추정 기법이 NLP에 가장 적용 가능하며, 이것이 모델 설계 및 작업 유형과 어떻게 관련되는가?
• RQ3 분류, 시퀀스 라벨링, 생성, 회귀 등 NLP 작업 전반에 걸쳐 불확실성 추정 방법이 어떻게 적용되는가?
• RQ4 현대 PLM과 함께한 NLP의 불확실성 추정에서 주요 도전과제와 향후 방향은 무엇인가?

주요 결과

• NLP의 불확실성은 입력의 모호성, 시스템 설계, 출력의 복잡성이 얽혀 발생하며, 알레오토릭(우발적)과 에피스테믹(지식 기반) 구성 요소를 결합해 고려해야 한다.
• NLP의 불확실성 추정은 보정 기반, 샘플링 기반, 분포 기반 방법으로 분류될 수 있으며, 각각 고유의 장점과 도전과제가 있다.
• Calibration methods like Softmax responses, entropy, temperature scaling, label smoothing, and conformal prediction help quantify and potentially correct confidence estimates.
• 불확실성의 응용에는 데이터 필터링 및 행동 지침, 시스템 성능/효율 개선, 출력 품질과 신뢰성 평가가 포함된다.
• 대규모 사전학습 모델의 등장으로 모델 크기, 학습 데이터 편향, 하이퍼파라미터 민감성과 관련된 새로운 불확실성 도전 과제가 제시된다.

Figure 2: Illustration of sources of uncertainty. The figure includes the sources of uncertainty in the interaction of the NLP system. We start from the three processes of Input , System , and Output to analyze the possible causes of each uncertainty. It is worth noting that these three parts are in