[논문 리뷰] Uncertainty in Structured Prediction.

Andrey Malinin, Mark Gales|arXiv (Cornell University)|2020. 02. 18.

Topic Modeling참고 문헌 27인용 수 7

한 줄 요약

이 논문은 기계 번역 및 음성 인식과 같은 시퀀스-투-시퀀스 작업에서 토큰 수준 및 시퀀스 수준의 불확실성 정량화를 가능하게 하는 통합된 확률적 앙상블 기반 프레임워크를 제안한다. 이는 해석 가능한 불확실성 측정법을 도입하고 WMT14/17 및 LibriSpeech 데이터셋에서 오류 및 도메인 외 입력 탐지에 대해 강력한 베이스라인을 수립한다.

ABSTRACT

Uncertainty estimation is important for ensuring safety and robustness of AI systems. While most research in the area has focused on un-structured prediction tasks, limited work has investigated general uncertainty estimation approaches for structured prediction. Thus, this work aims to investigate uncertainty estimation for structured prediction tasks within a single unified and interpretable probabilistic ensemble-based framework. We consider: uncertainty estimation for sequence data at the token-level and complete sequence-level; interpretations for, and applications of, various measures of uncertainty; and discuss both the theoretical and practical challenges associated with obtaining them. This work also provides baselines for token-level and sequence-level error detection, and sequence-level out-of-domain input detection on the WMT14 English-French and WMT17 English-German translation and LibriSpeech speech recognition datasets.

연구 동기 및 목표

• 구조적 예측 작업을 위한 일반적이고 해석 가능한 불확실성 추정 방법의 부족을 해결하기 위해.
• 시퀀스 모델링에서 토큰 수준 및 완전한 시퀀스 수준의 불확실성 정량화를 가능하게 하기 위해.
• 번역 및 음성 인식에서 토큰 수준 오류와 도메인 외 입력을 탐지하기 위한 실용적 기준을 제공하기 위해.
• 구조적 출력에 대한 불확실성 추정의 이론적 및 실용적 과제를 분석하기 위해.
• 실제 AI 안전성 및 내구성 맥락에서 다양한 불확실성 측정법을 해석하고 적용하기 위해.

제안 방법

• 프레임워크는 구조적 출력 전반에 걸친 예측 불확실성 추정을 위해 모델의 확률적 앙상블을 활용한다.
• 앙상블 구성원 간의 예측 분산을 사용하여 토큰 수준의 불확실성 계산한다.
• 다양한 가능한 구조적 집계 메커니즘을 사용하여 토큰 수준 불확실성의 집계를 통해 시퀀스 수준 불확실성 도출한다.
• 단일 확률 모델링 프레임워크 내에서 애럴레틱 및 엠피스테믹 불확실성 추정을 모두 지원한다.
• 불확실성 점수를 적용하여 번역 및 음성 인식 작업에서 도메인 외 입력과 모델 오류를 탐지한다.
• 프레임워크는 WMT14 영어-프랑스어, WMT17 영어-독일어 번역, LibriSpeech 음성 인식 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 어떻게 구조적 예측에서 토큰 수준과 시퀀스 수준 모두에서 일관된 불확실성 추정이 가능할 수 있는가?
• RQ2 구조적 예측 작업에 가장 해석 가능하고 실천 가능한 불확실성 측정법은 무엇인가?
• RQ3 제안된 프레임워크는 도메인 외 입력과 모델 오류 탐지에 얼마나 효과적인가?
• RQ4 구조적 출력에 불확실성 추정을 적용할 때 이론적 및 실용적 과제는 무엇인가?
• RQ5 다양한 불확실성 측정법은 실세계 배포 환경에서 어떻게 비교되는가?

주요 결과

• 프레임워크는 구조적 작업의 토큰 수준 및 시퀀스 수준 예측 전반에 걸쳐 통합적이고 해석 가능한 불확실성 추정 방법을 제공한다.
• WMT14/17 및 LibriSpeech 벤치마크에서 도메인 외 입력과 시퀀스 수준 오류 탐지에 뛰어난 성능을 기록한다.
• 토큰 수준 불확실성 점수는 모델 예측 오류와 효과적으로 상관관계가 있으며, 신뢰할 수 있는 오류 탐지가 가능하다.
• 시퀀스 수준 불확실성 측정법은 저신뢰도 또는 이질적인 출력을 식별하는 데 강력하고 실천 가능한 편이다.
• 프레임워크는 대규모 시퀀스 모델에서 불확실성 校정 및 계산 비용과 같은 실용적 과제를 드러낸다.
• 이 연구는 시퀀스 모델링에서 불확실성 인식 오류 및 도메인 탐지에 새로운 기준을 설정한다.