[논문 리뷰] Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers

Tim Z. Xiao, Aidan N. Gomez외 1명|arXiv (Cornell University)|2020. 06. 08.

Natural Language Processing Techniques참고 문헌 35인용 수 19

한 줄 요약

이 논문은 변동형 추론과 드롭아웃을 활용한 트랜스포머 모델에서 분포 외(out-of-distribution, OOD) 입력을 탐지하는 데 목적이 있는 새로운 불확실성 측정법인 BLEUVar를 제안한다. 예측 분산을 통해 지식 불확실성(epistemic uncertainty)을 추정함으로써, 독일어와 유사한 어휘를 사용하는 네덜란드어 문장들을 OOD 입력으로 효과적으로 식별하며, WMT13 및 Europarl 데이터셋에서 높은 탐지 성능을 달성한다.

ABSTRACT

We detect out-of-training-distribution sentences in Neural Machine Translation using the Bayesian Deep Learning equivalent of Transformer models. For this we develop a new measure of uncertainty designed specifically for long sequences of discrete random variables -- i.e. words in the output sentence. Our new measure of uncertainty solves a major intractability in the naive application of existing approaches on long sentences. We use our new measure on a Transformer model trained with dropout approximate inference. On the task of German-English translation using WMT13 and Europarl, we show that with dropout uncertainty our measure is able to identify when Dutch source sentences, sentences which use the same word types as German, are given to the model instead of German.

연구 동기 및 목표

• 최신 NMT 모델에서의 불확실성 추정 부족 문제를 해결하기 위해, 특히 분포 외(OOD) 입력을 탐지하기 위한 것이다.
• 번역 문장과 같은 이산 출력의 장문의 시퀀스에 특화된 확장 가능한 불확실성 측정법을 개발하기 위해이다.
• 낮은 신뢰도이거나 오류일 가능성이 있는 번역을 식별하여 인간 검토를 위한 선택적 분류(selective classification)를 가능하게 하기 위해이다.
• 모델의 불확실성과 번역 품질 및 OOD 탐지 성능 간의 상관관계가 있는지 평가하기 위해이다.
• 컴퓨터 비전에서의 베이지안 딥러닝 도구를 자연어 처리, 특히 번역의 시퀀스 모델링으로 확장하기 위해이다.

제안 방법

• 디코딩 중에 다수의 스토케스틱 프로파일을 통해 계산된 BLEU 점수의 분산에 기반한 새로운 불확실성 측정법인 BLEUVar를 제안한다.
• 동일한 입력에 대해 다양한 불확실한 예측을 생성하기 위해 트랜스포머 모델에 드롭아웃 근사 추론을 적용한다.
• 예측 불확실성을 출력 시퀀스 전반에 걸쳐 추정하기 위해 추론 중에 모델 가중치의 몬테카를로 샘플링을 수행한다.
• 진정한 모델 가중치에 대한 사후분포를 근사하기 위해 변동형 추론을 활용하여, 전체 베이지안 학습 없이도 불확실성 정량화를 가능하게 한다.
• 예측 샘플링과 BLEU 점수 집계를 조합하여, 미분 가능하고 시퀀스 수준의 불확실성 대체 측정법을 생성한다.
• 드롭아웃을 사용한 표준 트랜스포머를 학습하고, 이를 통해 유도된 예측 분산을 지식 불확실성의 대체 측정법으로 사용한다.

실험 결과

연구 질문

• RQ1 베이지안 딥러닝 접근법이 순서에서 순서로(NMT) 모델에 지식 불확실성을 효과적으로 추정할 수 있는가?
• RQ2 제안된 불확실성 측정법 BLEUVar는 실제 번역 상황에서 오역과 OOD 입력과 상관관계가 있는가?
• RQ3 독일어 어휘를 사용하는 네덜란드어 문장을 독일어-영어 NMT 모델에 입력했을 때, BLEUVar의 불확실성 추정은 어떻게 작동하는가?
• RQ4 불확실성 추정이 인간이 개입하는 번역 또는 선택적 분류를 통해 모델 신뢰도를 향상시킬 수 있는가?
• RQ5 불확실성 측정법은 다양한 문장 길이와 언어적 구조에서 어떻게 행동하는가?

주요 결과

• BLEUVar는 독일어와 유사한 어휘를 사용하는 분포 외 네덜란드어 문장을 독일어-영어 NMT 모델에 입력했을 때 효과적으로 탐지한다.
• BLEUVar로 측정된 모델의 불확실성은 번역 품질과 강하게 상관관계가 있으며, 높은 불확실성은 오역의 가능성을 시사한다.
• WMT13 및 Europarl 데이터셋에서 BLEUVar는 입력 문장이 언어적으로 타당하더라도 도메인에서 벗어난 경우에도 OOD 입력을 높은 신뢰도로 식별한다.
• 특히 OOD 입력에 대해 결정론적 트랜스포머보다 BLEUVar가 불확실하거나 잘못된 번역을 식별하는 데 뛰어난 성능을 보인다.
• 불확실성 측정법은 다양한 문장 길이에 대해 안정적이지만, 더 긴 시퀀스에서는 약간 높은 분산을 보인다.
• BLEUVar는 편향 탐지 잠재력도 보여주며, 편향된 학습 데이터는 OOD 입력을 불확실성 측정법에 의해 경고할 수 있다.