[논문 리뷰] Confidence through Attention

Matīss Rikters, Mark Fishel|arXiv (Cornell University)|2017. 10. 10.

Natural Language Processing Techniques참고 문헌 18인용 수 20

한 줄 요약

이 논문은 신경 기계 번역(NMT) 모델의 어텐션 분포를 번역 품질 평가의 신뢰도 지표로 사용하여 번역 필터링 및 하이브리드 시스템 선택을 향상시키는 방법을 제안한다. 부족 번역, 과잉 번역, 대응되지 않은 토큰과 같은 오차를 정량화함으로써, 영어–독일어 및 영어–라트비아어 번역 작업에서 번역 필터링 시 최대 2.22 BLEU 향상과 하이브리드 선택 시 0.99 BLEU 향상을 달성한다.

ABSTRACT

Attention distributions of the generated translations are a useful bi-product of attention-based recurrent neural network translation models and can be treated as soft alignments between the input and output tokens. In this work, we use attention distributions as a confidence metric for output translations. We present two strategies of using the attention distributions: filtering out bad translations from a large back-translated corpus, and selecting the best translation in a hybrid setup of two different translation systems. While manual evaluation indicated only a weak correlation between our confidence score and human judgments, the use-cases showed improvements of up to 2.22 BLEU points for filtering and 0.99 points for hybrid translation, tested on EnglishGerman and EnglishLatvian translation.

연구 동기 및 목표

• 번역 품질의 대체 지표로 어텐션 분포를 사용하여 NMT 출력에 대한 신뢰도 지표를 개발한다.
• 대규모 백트랜스레이션 파이프라인에서 저품질 번역을 식별하는 과제를 해결한다.
• 어텐션 기반 신뢰도를 활용하여 두 개의 NMT 시스템 중 최상의 출력을 선택하여 하이브리드 번역 시스템을 향상시킨다.
• 재학습이나 추가 지도 없이도 적용 가능한 후행적이고 모델 독립적인 신뢰도 추정 방법을 제공한다.
• 신뢰도 지표가 인간 평가와 자동 평가 지표(예: BLEU)와 얼마나 잘 일치하는지 평가한다.

제안 방법

• 부족 번역(소스 토큰 누락), 과잉 번역(과도한 타겟 토큰), 대응되지 않은 입력/출력 토큰을 측정하여 어텐션 기반 신뢰도 점수를 정의한다.
• 오차를 정량화하기 위해 세 가지 구성요소인 CDP(커버리지 이탈 페널티), AP_in(입력 토큰당 평균 어텐션), AP_out(출력 토큰당 평균 어텐션)를 계산한다.
• 신뢰도 점수를 사용하여 백트랜스레이션 파이프라인에서 저품질 번역을 필터링한다. 점수 상위 50%를 기준으로 기각한다.
• 두 개의 NMT 시스템 간 하이브리드 선택을 위해 더 높은 신뢰도 점수를 가진 출력을 선택한다.
• 점수 산정, 필터링, 하이브리드 선택, 어텐션 대응 시각화를 위한 오픈소스 도구를 구현하고 공개한다.
• 200개 문장에 대한 수동 인간 평가를 수행하여 어조 기반 선택과 인간 선호도를 비교한다.

실험 결과

연구 질문

• RQ1 NMT 모델의 어텐션 분포가 번역 품질에 대한 신뢰도 지표로 신뢰할 수 있는가?
• RQ2 어텐션 기반 신뢰도 점수가 저품질 백트랜스레이티드 번역을 필터링하는 데 얼마나 효과적인가?
• RQ3 BLEU 점수만 사용하는 것과 비교해 신뢰도 점수가 하이브리드 번역 선택에서 얼마나 향상되는가?
• RQ4 신뢰도 점수가 인간 평가의 번역 품질 평가와 얼마나 잘 상관되는가?
• RQ5 낮은 자원 환경이나 품질이 상이한 시스템에서 이 신뢰도 점수가 효과적으로 사용될 수 있는가?

주요 결과

• 어텐션 기반 신뢰도 점수는 영어–독일어 및 영어–라트비아어 번역 작업에서 백트랜스레이션 필터링 시 최대 2.22 BLEU 향상을 달성했다.
• 하이브리드 번역 선택에서 이 방법은 BLEU 점수를 0.99 포인트 향상시켜 두 개의 NMT 시스템 출력을 조합하는 데 효과적임을 입증했다.
• 신뢰도 점수는 인간 평가와 중간 정도의 상관관계를 보였으며, 네 개의 언어 쌍에서 인간 평가자와 어조 기반 선택 간 선호 번역의 겹침 비율이 57%에서 62.5%까지 나타났다.
• 인간 평가자들이 네 개 언어 쌍 중 세 개에서 높은 BLEU 점수를 가진 시스템보다 낮은 BLEU 점수를 가진 시스템을 더 선호함을 확인하여, BLEU 점수만으로는 품질을 잘 대체할 수 없음을 시사했다.
• 특히 두 시스템의 성능이 유사할 경우, 간단한 BLEU 기반 선택보다 이 신뢰도 지표가 하이브리드 환경에서 더 우수한 성능을 보였다.
• 시스템 간 품질 격차가 클 경우에도 이 방법은 효과적이지만, 약한 시스템의 신뢰도 점수는 오해의 소지가 있어, 품질 예측 모델과의 통합이 필요함을 시사했다.