[논문 리뷰] Decoding and Diversity in Machine Translation

Nicholas Roberts, Davis Liang외 2명|arXiv (Cornell University)|2020. 11. 26.

Natural Language Processing Techniques참고 문헌 19인용 수 15

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 BLEU 점수 최적화와 번역 다양성 사이의 상충 관계를 조사하며, 범위 검색 디코딩이 BLEU 점수를 높이지만 출력의 다양성을 심각하게 감소시키고 성별 대명사 편향을 악화시킨다는 것을 입증한다. 분포 진단 도구의 세트를 도입하여 레이블 스무딩과 범위 검색이 n-그램,标 punctuations, 복사 비율, BERT 기반 식별성에서 인간 기준 번역과의 유사도를 떨어뜨린다는 것을 보여주며, 온도 1.0에서의 샘플링이 인간과 가장 유사한 출력을 만들어 낸다.

ABSTRACT

Neural Machine Translation (NMT) systems are typically evaluated using automated metrics that assess the agreement between generated translations and ground truth candidates. To improve systems with respect to these metrics, NLP researchers employ a variety of heuristic techniques, including searching for the conditional mode (vs. sampling) and incorporating various training heuristics (e.g., label smoothing). While search strategies significantly improve BLEU score, they yield deterministic outputs that lack the diversity of human translations. Moreover, search tends to bias the distribution of translated gender pronouns. This makes human-level BLEU a misleading benchmark in that modern MT systems cannot approach human-level BLEU while simultaneously maintaining human-level translation diversity. In this paper, we characterize distributional differences between generated and real translations, examining the cost in diversity paid for the BLEU scores enjoyed by NMT. Moreover, our study implicates search as a salient source of known bias when translating gender pronouns.

연구 동기 및 목표

• NMT 출력에서 높은 BLEU 점수와 낮은 다양성 사이의 상충 관계를 조사하기 위해.
• 범위 검색과 레이블 스무딩이 성별 대명사 번역에서 다양성 감소와 편향 증가의 주요 원인임을 특정하기 위해.
• 생성된 번역과 인간 기준 번역 간의 유사도를 측정하기 위해 분포 진단 도구 세트를 개발하고 적용하기 위해.
• TF-IDF와 BERT 기반 식별기를 사용하여 모델 출력의 식별 가능성을 평가하여 자연스러움을 평가하기 위해.
• 모델이 인간처럼 다양하지 않은 결정론적 출력을 생성하고 인간 번역 분포에서 크게 벗어나기 때문에 인간 수준의 BLEU를 기준으로 사용하는 것이 타당한지 도전하기 위해.

제안 방법

• 저자들은 WMT 2017 De-En, En-De, 및 WMT 2014 Fr-En 번역 데이터셋에서 탐색 전략—그리디 디코딩, 범위 검색, 다양한 온도에서의 샘플링—을 비교한다.
• 그들은 n-그램 L1 거리, 문장 길이 분포, 구두점 빈도, 복사 비율(50% 이상의 유니그램 겹침), 그리고 성별 대명사 표현을 포함한 다양성 진단 도구 세트를 도입한다.
• 생성된 번역과 실제 기준 번역을 구분하기 위해 TF-IDF 로지스틱 회귀와 미세조정된 BERT(108M 파라미터)를 모두 식별기로 사용한다.
• 다양한 디코딩 전략 하에서 레이블 스무딩이 다양성과 BLEU에 미치는 영향을 평가하기 위해, 레이블 스무딩 여부에 따라 훈련된 모델을 비교한다.
• 기준 번역 라인(훈련-검증 분할에서 유도)을 기준으로 하여 모델 출력과 기준 번역 간의 분포 유사도 지표를 계산한다.
• 복사 비율을 소스 문장과의 유니그램 겹침 비율(구두점과 숫자 제외)이 50% 초과인 생성 문장의 비율로 측정한다.

실험 결과

연구 질문

• RQ1 범위 검색 디코딩은 n-그램, 문장 길이, 구두점, 복사 비율 측면에서 인간 기준 번역과의 분포 유사도에 어떻게 영향을 미치는가?
• RQ2 레이블 스무딩은 인간 기준 번역과의 분포 유사도를 어느 정도 떨어뜨리며, 이는 디코딩 전략에 따라 어떻게 달라지는가?
• RQ3 훈련 데이터가 불균형할 경우, 범위 검색과 샘플링은 성별 대명사 표현을 유지하고 잘못된 성별 지정을 피하는 데 얼마나 효과적인가?
• RQ4 TF-IDF 또는 BERT 특징 기반 식별기가 생성된 번역과 실제 번역을 신뢰성 있게 구분할 수 있는가? 이는 디코딩 방법에 따라 어떻게 달라지는가?
• RQ5 NMT 시스템이 결정론적이고 다양하지 않은 출력을 생성하며 인간 번역 분포에서 크게 벗어나기 때문에 인간 수준의 BLEU가 성능 기준으로 신뢰할 수 없는 이유는 무엇인가?

주요 결과

• 완전히 훈련된 모델에서 범위 검색 디코딩은 샘플링 대비 BLEU 점수를 14점 높이지만, n-그램, 문장 길이, 구두점, 복사 비율 측면에서 인간 기준 번역과의 분포 유사도가 유의미하게 낮아진다.
• 온도 1.0에서의 샘플링은 n-그램 빈도, 구두점 사용, 복사 비율 측면에서 인간 기준 번역과 가장 유사한 출력 분포를 만들어 내며, 훈련 세트의 복사 비율에 거의 근접한다.
• 범위 검색은 성별 대명사 번역에서 잘못된 성별 지정 비율을 높인다: 훈련 데이터에서 더 흔한 성별에 대한 편향을 악화시키며, 독일어-영어 번역에서는 'she'를 우선시하고 프랑스어-영어 번역에서는 'he'를 우선시한다.
• 레이블 스무딩은 인간 기준 번역과의 분포 유사도를 감소시키며, 특히 범위 검색과 결합될 경우 모델 출력의 식별 가능성을 높여 TF-IDF와 BERT 기반 식별기가 생성된 텍스트를 '비인간'으로 쉽게 분류할 수 있도록 한다.
• BERT 기반 식별기는 TF-IDF 로지스틱 회귀보다 생성된 번역과 실제 번역을 구분하는 데 더 뛰어나지만, 심지어 가장 성능이 좋은 모델(온도 T=1.0에서 샘플링)이라도 모델이 범위 검색을 하지 않을 경우 샘플을 '생성된 것'으로 신뢰성 있게 분류하지 못한다.
• 이 연구는 범위 검색과 레이블 스무딩이 BLEU 점수를 향상시키지만 다양성 감소와 편향 증가의 대가를 지ay며, 인간 수준의 BLEU가 성능 기준으로 신뢰할 수 없게 만든다는 것을 입증한다.