[논문 리뷰] Quantifying Uncertainties in Natural Language Processing Tasks

Yijun Xiao, William Yang Wang|arXiv (Cornell University)|2018. 11. 18.

Topic Modeling참고 문헌 18인용 수 15

한 줄 요약

이 논문은 베이지안 신경망과 몬테카를로 드롭아웃을 사용하여 NLP 작업에서 모델(지식 기반) 불확실성과 입력에 의존하는 데이터(알레아토리크) 불확실성을 정량화하는 방법을 제안한다. 이러한 불확실성을 모델링함으로써 감성 분석, 명명된 실체 인식, 언어 모델링 작업에서 성능 향상이 이루어지며, F1 점수는 최대 26.4% 향상되고 퍼플렉서티는 4.2% 향상된다. 더 높은 불확실성은 더 모호하거나 어려운 예측과 상관관계를 가진다.

ABSTRACT

Reliable uncertainty quantification is a first step towards building explainable, transparent, and accountable artificial intelligent systems. Recent progress in Bayesian deep learning has made such quantification realizable. In this paper, we propose novel methods to study the benefits of characterizing model and data uncertainties for natural language processing (NLP) tasks. With empirical experiments on sentiment analysis, named entity recognition, and language modeling using convolutional and recurrent neural network models, we show that explicitly modeling uncertainties is not only necessary to measure output confidence levels, but also useful at enhancing model performances in various NLP tasks.

연구 동기 및 목표

• NLP 작업에서 모델 및 데이터 불확실성을 정량화하는 방법을 개발하여 모델의 신뢰성과 해석 가능성 향상.
• 명시적인 불확실성 모델링이 감성 분석, 명명된 실체 인식, 언어 모델링에서 성능 향상에 기여하는지 조사.
• 다양한 NLP 작업 간 예측 난이도와 정량화된 불확실성 간 상관관계 분석.
• 더 모호하거나 예측하기 어려운 입력(예: 짧은 또는 고엔트로피 토큰)일수록 데이터 불확실성이 증가하는지 검증.

제안 방법

• 모델 불확실성은 몬테카를로 드롭아웃을 통해 정량화되며, 드롭아웃된 뉴런을 가진 다중 전방 전파가 사후 예측 분포를 근사한다.
• 입력에 의존하는 데이터 불확실성은 이종분산 불확실성으로 모델링되며, 입력에 따라 변하는 입력 고유의 노이즈 분산을 캡처한다.
• 전체 분산의 법칙을 사용하여 수학적으로 총 불확실성을 모델 불확실성과 데이터 불확실성 구성요소로 분해한다.
• 변분 추론을 사용한 베이지안 신경망 학습을 통해 불확실성 인식 표현을 학습한다.
• 다중 전방 전파 동안의 예측 분산을 사용해 불확실성 추정을 하며, 높은 분산은 낮은 신뢰도를 나타낸다.
• 예측 난이도와의 상관관계 분석을 위해 레이블 분포의 엔트로피 및 NER 태그와 입력 토큰의 F1 점수와의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 모델 불확실성과 데이터 불확실성을 동시에 정량화하면 NLP 작업에서 성능 향상이 이루어지는가?
• RQ2 감성 분석 및 명명된 실체 인식에서 정량화된 불확실성은 예측 난이도와 어떻게 상관관계가 있는가?
• RQ3 모호하거나 고엔트로피 레이블 분포를 가진 입력에서 입력에 의존하는 데이터 불확실성이 더 높은가?
• RQ4 불확실성 추정치는 다양한 NLP 작업에서 모델 예측의 신뢰도를 효과적으로 반영할 수 있는가?

주요 결과

• CNN을 사용한 감성 분석에서, 두 가지 불확실성을 모두 모델링함으로써 기준 모델 대비 F1 점수가 최대 26.4% 향상되었다.
• CoNLL 2003 데이터셋에서의 명명된 실체 인식 작업에서, 입력에 의존하는 데이터 불확실성 모델링이 F1 점수를 2.7% 향상시켰다.
• 언어 모델링 작업에서, 두 가지 불확실성을 조합함으로써 퍼플렉서티가 4.2% 감소했다.
• 더 높은 엔트로피를 가진 NER 태그 분포를 가진 입력에서 높은 데이터 불확실성이 일관되게 추정되었으며, 이는 모호성에 민감함을 나타낸다.
• NER 태그에서 F1 점수가 낮은 토큰들은 평균적으로 더 높은 데이터 불확실성과 관련이 있었으며, 이는 난이도와의 상관관계를 확인한다.
• 높은 데이터 불확실성을 가진 예시들은 일반적으로 짧거나 긴 토큰이며 의견 신호가 약한 반면, 낮은 불확실성 예시는 강한, 중간 길이의 의견 신호를 가진 토큰이었다.