[논문 리뷰] Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation

Eva Vanmassenhove, Dimitar Shterionov외 1명|arXiv (Cornell University)|2021. 01. 30.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 기계 번역(MT) 시스템에서의 알고리즘적 편향이 언어적 복잡성을 감소시켜 '기계 번역어'라 명명된 현상을 연구한다—즉, 단순화되고 다양성이 떨어지는 출력이다. PB-SMT, LSTM, Transformer 모델을 대상으로 어휘적·문자형 다양성 지표를 분석한 결과, 모든 MT 시스템이 훈련 데이터 대비 어휘적·문자형 풍부성을 크게 감소시키는 것으로 나타났으며, Transformer가 가장 우수한 성능을 보였지만 프랑스어나 스페인어와 같이 어휘가 풍부한 언어에서는 여전히 문자형 다양성 측면에서 성능이 열등하다.

ABSTRACT

Recent studies in the field of Machine Translation (MT) and Natural Language Processing (NLP) have shown that existing models amplify biases observed in the training data. The amplification of biases in language technology has mainly been examined with respect to specific phenomena, such as gender bias. In this work, we go beyond the study of gender in MT and investigate how bias amplification might affect language in a broader sense. We hypothesize that the 'algorithmic bias', i.e. an exacerbation of frequently observed patterns in combination with a loss of less frequent ones, not only exacerbates societal biases present in current datasets but could also lead to an artificially impoverished language: 'machine translationese'. We assess the linguistic richness (on a lexical and morphological level) of translations created by different data-driven MT paradigms - phrase-based statistical (PB-SMT) and neural MT (NMT). Our experiments show that there is a loss of lexical and morphological richness in the translations produced by all investigated MT paradigms for two language pairs (EN<=>FR and EN<=>ES).

연구 동기 및 목표

• 데이터 기반 MT 시스템에서의 알고리즘적 편향이 어휘적·문자형 다양성 측면에서 측정 가능한 언어적 풍부성 손실을 유도하는지 조사하기.
• 이 감소 현상을 '기계 번역어'로 프레임화하여, 인위적으로 빈약한 언어 형태로 간주하고, 그 사회언어학적 함의를 분석하기.
• PB-SMT, LSTM, Transformer와 같은 다양한 MT 파라다임이 다국어 번역 쌍(EN↔FR, EN↔ES)에서 언어 다양성에 미치는 영향을 비교하기.
• 어휘의 복잡성, 동의어 빈도, 문자형 다양성에 대한 새로운, 적응형, 자동 평가 지표를 개발하고 적용하기.
• 관측된 다양성 손실이 BLEU 및 TER와 같은 표준 번역 품질 지표와 유의미한 상관관계를 가지는지 평가하기.

제안 방법

• 제2외국어 습득 분야에서 유래한 어휘 빈도 프로파일(LFP)을 적응하여 MT 출력의 어휘 복잡성과 다양성을 평가하였다.
• 샤논 엔트로피와 심프슨 다양성 지수를 사용해 어원에 두 개 이상의 형태가 존재하는 어휘에 대해 문자형 다양성을 측정하였으며, 단일 형태어는 제외하여 편향을 방지하였다.
• 새로운 자동 평가 방법을 제안하여 동의어 빈도를 평가함으로써, 기존 다양성 지표를 넘어서는 어휘 풍부성을 측정하였다.
• 영어-프랑스어 및 영어-스페인어 번역 쌍에서 세 가지 MT 아키텍처—어휘 기반 SMT(PB-SMT), LSTM 기반 시퀀스-투-시퀀스, Transformer(TRANS)—를 평가하였다.
• 원본 훈련 데이터와 MT 출력에 대해 다양성 점수(H: 샤논 엔트로피, D: 심프슨 다양성 지수)를 계산하고, 비교 가능성을 확보하기 위해 [0–100] 범위로 정규화하였다.
• 표준 MT 평가 지표(BLEU, TER)를 사용하여 언어 다양성과 번역 품질 간 상관관계를 분석함으로써 결과의 상호 검증을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 데이터 기반 MT 시스템이 원본 훈련 데이터 대비 얼마나 어휘적·문자형 다양성을 감소시키는가?
• RQ2 PB-SMT, LSTM, Transformer와 같은 MT 아키텍처 선택이 번역에서 언어적 풍부성 유지에 어떻게 영향을 미치는가?
• RQ3 문자형 다양성의 감소가 특히 어휘가 풍부한 언어에서 문법적으로 올바른 형태 생성 능력을 저해하는가?
• RQ4 어휘 다양성과 BLEU 및 TER와 같은 표준 MT 품질 지표 사이에 측정 가능한 상관관계가 존재하는가?
• RQ5 '기계 번역어'는 어느 정도 알고리즘적 편향을 반영하며, 그 장기적인 사회언어학적 함의는 무엇인가?

주요 결과

• PB-SMT, LSTM, Transformer를 포함한 모든 MT 시스템이 두 언어 쌍 모두에서 원본 훈련 데이터 대비 어휘적·문자형 다양성을 유의미하게 감소시켰다.
• 문자형 다양성에 대한 샤논 엔트로피(H)와 심프슨 다양성(D) 점수는 MT 출력에서 일관되게 낮아졌다: 프랑스어의 경우 H는 원본의 75.20에서 Transformer의 73.13으로 감소했고, D는 56.42에서 57.70으로 상승했으며, 스페인어의 경우 H는 78.42에서 77.23으로 감소했고, D는 54.96에서 56.26으로 상승했다.
• Transformer 모델은 특히 프랑스어 및 스페인어 번역에서 PB-SMT 및 LSTM보다 문자형 다양성을 더 잘 유지했지만, 여전히 원본 데이터 수준 이하였다.
• 영어로의 번역에서는 PB-SMT가 LSTM보다 문자형 다양성에서 뛰어난 성능을 보였으며, 이는 목표 언어의 문체적 특성에 따라 아키텍처에 따라 성능이 달라지는 현상을 시사한다.
• 어휘가 풍부한 언어(프랑스어 및 스페인어)에서 다양성 감소가 가장 뚜렷했으며, 원본과 MT 출력 간 격차가 영어보다 더 컸다.
• 높은 언어 다양성과 더 나은 BLEU/TER 점수 사이에 강한 상관관계가 있었으며, 이는 다양성 지표가 번역 품질의 의미 있는 지표로 활용될 수 있음을 시사한다.