[논문 리뷰] Uncertainty in Natural Language Generation: From Theory to Applications

Joris Baan, Nico Daheim외 8명|arXiv (Cornell University)|2023. 07. 28.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 언어적, 인지적, 모델 수준의 요인을 포함하는 이차원적 불확실성 원인 분류 체계를 도입함으로써 자연어 생성(NLG)에서의 불확실성에 대한 원칙적인 프레임워크를 제안한다. 이는 NLG 시스템의 신뢰성, 제어 가능성, 신뢰도를 향상시킨다. 또한 분리된 불확실성 표현 방식이 선택적 응답, 주도 학습, 제어 가능한 생성과 같은 응용 분야를 가능하게 한다.

ABSTRACT

Recent advances of powerful Language Models have allowed Natural Language Generation (NLG) to emerge as an important technology that can not only perform traditional tasks like summarisation or translation, but also serve as a natural language interface to a variety of applications. As such, it is crucial that NLG systems are trustworthy and reliable, for example by indicating when they are likely to be wrong; and supporting multiple views, backgrounds and writing styles -- reflecting diverse human sub-populations. In this paper, we argue that a principled treatment of uncertainty can assist in creating systems and evaluation protocols better aligned with these goals. We first present the fundamental theory, frameworks and vocabulary required to represent uncertainty. We then characterise the main sources of uncertainty in NLG from a linguistic perspective, and propose a two-dimensional taxonomy that is more informative and faithful than the popular aleatoric/epistemic dichotomy. Finally, we move from theory to applications and highlight exciting research directions that exploit uncertainty to power decoding, controllable generation, self-assessment, selective answering, active learning and more.

연구 동기 및 목표

• 신뢰성과 안정성에서 핵심적인 역할을 하면서도 NLG에서의 체계적 불확실성 처리가 부족한 점을 해결한다.
• 자연어 생성에서의 주요 언어적 및 인지적 불확실성 원인을 식별하고 분류한다.
• 伝통적인 알레아토릭/에피스테믹 이분법을 넘어서는 더 세련된 이차원적 불확실성 분류 체계를 개발한다.
• 분리된 불확실성 표현 방식이 디코딩, 자기 평가, 주도 학습과 같은 실용적 NLG 응용 분야를 어떻게 향상시킬 수 있는지 보여준다.
• 미래의 신뢰할 수 있고 다양한 NLG 시스템을 위한 연구를 이끌기 위해 공통의 이론 기반 이해를 조성한다.

제안 방법

• 가능세계 모델과 확률 이론을 활용한 공식적 프레임워크를 제안하여 NLG에서의 불확실성을 표현한다.
• 입력, 작업, 에이전트, 실현 수준의 불확실성 원인을 모두 시각화하기 위해 '언어 생성의 이중 삼각형'을 도입한다.
• 원인(언어적 대비 모델)과 유형(에피스테믹 대비 알레아토릭)을 기반으로 한 이차원 불확실성 분류 체계를 개발하여 기존의 단순 이분법보다 더 풍부한 분류를 제공한다.
• 신뢰도 기반 거부 및 선택적 응답과 같은 디코딩 전략에 불확실성 표현을 적용한다.
• 서브집단의 선호도와 글쓰기 스타일을 모델링하여 불확실성 표현을 제어 가능한 생성에 활용한다.
• 주도 학습과 이상치 탐지에 불확실성을 통합하여 데이터 효율성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 NLG에서의 불확실성은 언어적, 인지적, 모델 수준의 원인에 따라 어떻게 공식적으로 표현되고 구분될 수 있는가?
• RQ2 언어적 및 인지적 관점에서 자연어 생성의 주요 불확실성 원인은 무엇인가?
• RQ3 이차원 불확실성 분류 체계는 NLG에서 기존의 알레아토릭/에피스테믹 이분법에 비해 어떤 점에서 개선되는가?
• RQ4 분리된 불확실성 표현 방식은 NLG 시스템의 디코딩, 제어 가능한 생성, 자기 평가에 어떤 방식으로 기여하는가?
• RQ5 불확실성은 어떻게 주도 학습과 이상치 탐지 향상에 활용될 수 있는가?

주요 결과

• 논문은 기존의 알레아토릭/에피스테믹 분류보다 더 복잡한 NLG의 특성을 잘 반영하는 이차원 불확실성 분류 체계를 제안한다. 이는 입력의 모호성, 작업의 개방성, 모델의 분포 이탈과 같은 원인을 포함한다.
• 분리된 불확실성 표현 방식은 선택적 응답의 성능을 향상시킨다. 저신뢰도 상황에서는 기각함으로써 정확도/기각의 균형을 더 잘 달성한다.
• 불확실성 인식 디코딩은 특정 사용자 시각이나 글쓰기 스타일에 맞는 응답 생성을 가능하게 하여 제어 가능성을 향상시킨다.
• 모델 불확실성은 주도 학습에 효과적으로 활용될 수 있으나, 논문은 일부 경우에 불확실성 기반 샘플링이 균일 샘플링보다 성능이 열 劣할 수 있음을 지적한다.
• 예측 확률은 기계 번역 및 개괄 요약과 같은 작업에서 오류 발생 가능성과 상관관계를 보이며, 이는 자기 평가에 활용될 수 있음을 뒷받침한다.
• 이상치 탐지에 불확실성 모델링이 기여한다. 이상치 입력에서는 모델이 더 높은 불확실성을 보이며, 이는 이상치 탐지에 유리하게 작용한다.