[논문 리뷰] Calibration of Encoder Decoder Models for Neural Machine Translation

Aviral Kumar, Sunita Sarawagi|arXiv (Cornell University)|2019. 03. 03.

Natural Language Processing Techniques참고 문헌 32인용 수 40

한 줄 요약

본 논문은 어텐션 기반 인코더-디코더 NMT 모델의 보정(calibration)을 분석하고, EOS와 어텐션 불확실성을 주요 오보정 원인으로 식별하며, 토큰 수준 및 시퀀스 수준 보정을 개선하고 빔 크기 간 BLEU를 안정화하는 맥락 인식 재보정 방법을 제안한다.

ABSTRACT

We study the calibration of several state of the art neural machine translation(NMT) systems built on attention-based encoder-decoder models. For structured outputs like in NMT, calibration is important not just for reliable confidence with predictions, but also for proper functioning of beam-search inference. We show that most modern NMT models are surprisingly miscalibrated even when conditioned on the true previous tokens. Our investigation leads to two main reasons -- severe miscalibration of EOS (end of sequence marker) and suppression of attention uncertainty. We design recalibration methods based on these signals and demonstrate improved accuracy, better sequence-level calibration, and more intuitive results from beam-search.

연구 동기 및 목표

• 최신 어텐션 기반 NMT 시스템(Bahdanau, GNMT, Transformer)의 상태별 보정 격차를 식별하고 정량화한다.
• 오보정의 근본 원인을 진단하며, 특히 EOS 토큰 동작과 어텐션 불확실성에 초점을 맞춘다.
• 입력 커버리지와 어텐션 엔트로피를 이용해 로짓의 확률을 조정하는 재보정 방법을 개발한다.
• 토큰 수준 보정, 시퀀스 수준 보정, 빔 검색 안정성의 개선을 입증한다.
• 훈련 절차를 변경하지 않고도 보정이 BLEU 점수를 올릴 수 있음을 보여준다.

제안 방법

• 가중된 기대 보정 오차(weighted ECE)를 여섯 가지 NMT 벤치마크에서 측정하여 토큰 수준의 보정을 평가한다.
• EOS 및 어텐션 불확실성 신호를 강조하며 토큰별 보정을 분석한다.
• (i) 입력 커버리지의 함수로서의 EOS 보정, (ii) 로짓에 대한 입력-맥락 의존적 온도 스케일링을 사용하는 신경망 기반 재보정의 두 가지 부분으로 구성된 재보정을 제안한다.
• 보정 파라미터를 보유한 검증 세트에서 학습하고 사전 학습된 모델에 적용한다.
• 단일 온도 스케일링과 비교하고 BLEU 및 빔 크기 안정성에 미치는 영향을 평가한다.
• 시퀀스 수준의 보정을 평가하기 위해 구조화된 BLEU 기반 보정 척도(Structured ECE)를 사용한다.

실험 결과

연구 질문

• RQ1 교사 강제용으로 평가될 때 현대의 인코더-디코더 NMT 모델에서 토큰 수준 확률은 얼마나 잘 보정되어 있는가?
• RQ2 NMT의 오보정 주된 요인은 무엇이며, EOS 시그널링 및 어텐션 불확실성은 어떻게 기여하는가?
• RQ3 모델 재학습 없이도 맥락 인식 재보정 방식이 토큰 수준과 시퀀스 수준의 보정을 모두 향상시킬 수 있는가?
• RQ4 개선된 보정이 빔 검색 추론을 안정화하고 다양한 빔 폭에서 BLEU를 향상시키는가?

주요 결과

• 평가대상 여섯 개 NMT 모델 모두 보정이 잘 되지 않으며, ECE 값은 2.9에서 9.8까지 다양하고 일부 경우 과신이 관찰된다.
• EOS 보정은 특히 미흡하며, 모델 유형에 따라 과대 추정되거나 과소 추정되는 경향이 있어 EOS 시그널링의 약점을 시사한다.
• 어텐션 불확실성은 보정 오차를 높이는 데 연결되며, 특히 고엔트로피 어텐션 분포에서 더 두드러진다.
• 꼬리 토큰/헤드 토큰 보정은 모델 간 차이가 있으며, 잘못된 보정이 상위 예측뿐 아니라 전체 소프트맥스 출력에 영향을 준다.
• 맥락 인식 재보정 방법(커버리지 기반의 EOS 보정 + 엔트로피/로짓 기반의 온도 스케일링)은 모델 전반에서 ECE를 감소시키고, 여러 작업에서 BLEU를 최대 약 0.4점 향상시키는 경우가 많다.