[논문 리뷰] Uncertainty Estimation in Autoregressive Structured Prediction

Andrey Malinin, Mark Gales|arXiv (Cornell University)|2020. 02. 18.

Natural Language Processing Techniques참고 문헌 48인용 수 31

한 줄 요약

이 논문은 자동회귀 구조화 예측 작업(예: 기계 번역 및 음성 인식)에서 불확실성을 추정하기 위한 앙상블 기반 확률 프레임워크를 제시하고, 역 상호정보량과 같은 새로운 측정치를 도입하며 번역 및 음성 인식 데이터셋에 대한 토큰- 및 시퀀스 레벨 불확실성 기준선을 제공한다.

ABSTRACT

Uncertainty estimation is important for ensuring safety and robustness of AI systems. While most research in the area has focused on un-structured prediction tasks, limited work has investigated general uncertainty estimation approaches for structured prediction. Thus, this work aims to investigate uncertainty estimation for autoregressive structured prediction tasks within a single unified and interpretable probabilistic ensemble-based framework. We consider: uncertainty estimation for sequence data at the token-level and complete sequence-level; interpretations for, and applications of, various measures of uncertainty; and discuss both the theoretical and practical challenges associated with obtaining them. This work also provides baselines for token-level and sequence-level error detection, and sequence-level out-of-domain input detection on the WMT'14 English-French and WMT'17 English-German translation and LibriSpeech speech recognition datasets.

연구 동기 및 목표

• 확률적 앙상블 프레임워크 내에서 구조화된, 자동회귀 예측 작업에 대한 불확실성 추정을 동기 부여하고 개발한다.
• 토큰 및 시퀀스 레벨에서 총 불확실성과 지식(에피스테믹) 불확실성의 정보 이론적 척도를 정의한다.
• 구조화된 예측에 대한 새로운 불확실성 척도인 역 상호 정보량(RMI)을 도입한다.
• 계산 가능한 불확실성 추정을 위한 실용적인 몬테-카를로 근사 및 빔 탐색 호환 추정기를 제공하고, 시퀀스 불확실성에 대한 길이 정규화 비율 형태를 논의한다.
• MT 및 ASR 데이터셋에서 토큰 수준 및 시퀀스 수준 오류 탐지 및 도메인 외 입력 탐지의 기준선을 확립한다.

제안 방법

• 모델 매개변수가 확률 변수이고 예측이 근사 후방 q(theta)에서 평균화된다고 보는 베이지안 앙상블 관점을 채택한다.
• 예측 후방의 엔트로피로 총 불확실성을 도출하고 theta와 y 사이의 상호 정보(mutual information)를 사용하여 지식 불확실성을 분해한다.
• 구조화된 예측에 대한 새로운 다양성 척도로 역 상호 정보량(RMI)을 도입하는데, RMI = K[y, theta|x,D] - I[y, theta|x,D]이다.
• 총 불확실성과 지식 불확실성에 대한 몬테-카를로 추정기를 제안하며, S-MC 및 C-MC 변형을 포함한다; 시퀀스 불확실성에 대한 길이 정규화된 비율 형태를 논의한다.
• 앙상블 결합 스킴 두 가지: 곱의 기댓값(ExPr)과 기댓값의 곱(PrEx)을 조사하고, 이들이 불확실성과 예측에 미치는 영향을 논의한다.

실험 결과

연구 질문

• RQ1 단일한 앙상블 기반 프레임워크에서 자동회귀 구조화 예측 작업에 대해 불확실성을 어떻게 정의하고 추정할 수 있는가?
• RQ2 토큰- 및 시퀀스 레벨 예측에서 불확실성을 가장 효과적으로 특성화하는 정보 이론적 척도(총 불확실성, 데이터 불확실성, 지식 불확실성)는 무엇인가?
• RQ3 구조화된 예측 불확실성에 대한 새로운 역 상호 정보량(RMI)의 유용성은 무엇인가?
• RQ4 MT 및 ASR에서 몬테카를로 근사와 빔 탐색의 통합이 불확실성 추정의 계산 가능성과 정확도에 어떤 영향을 미치는가?
• RQ5 불확실성 척도가 번역 및 음성 인식에서 오류 탐지 및 도메인 외 입력 탐지와 같은 실용적 작업을 지원할 수 있는가?

주요 결과

• 총 불확실성 척도는 특히 결합 시퀀스 추정이 시퀀스 수준의 오류 탐지에 강한 신호를 제공한다.
• 기대값의 곱 앙상블 결합은 MT 및 ASR 작업에서 BLEU와 WER 측면에서 대안들보다 예측 성능을 향상시킨다.
• 역 상호 정보량(RMI)은 OOD 탐지에 유리한 특성을 가진 지식 불확실성 지표로 유효하게 나타난다.
• OOD 탐지 성능은 작업에 따라 다르며( ASR이 일반적으로 MT보다 OOD 탐지가 더 쉽고), 도메인 불일치가 커질수록 개선된다; RMI는 카피-스루 효과에 강건하다.
• 토큰 수준 예측 후확 probabilities에서 파생된 토큰 수준 불확실성 지표가 ASR 오류 탐지에서 일반 엔트로피보다 우수하며, 기대값의 곱 방식의 토큰 후확률이 강한 결과를 보인다.
• 기초 연구 결과는 WMT’14 EN-FR, WMT’17 EN-DE, LibriSpeech 데이터셋에서 시퀀스 수준 오류 탐지 및 OOD 탐지에 대한 불확실성 기반 방법의 효과를 보여준다.