[논문 리뷰] Toxicity in Multilingual Machine Translation at Scale

Marta R. Costa‐jussà, Eric E. Smith외 5명|arXiv (Cornell University)|2022. 10. 06.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 164개 언어에서 472,000개 문장의 HolisticBias 데이터셋을 평가하여 多언어 기계 번역에서 추가적인 독성의 원인을 조사한다. 자동 및 인간 평가를 통해 저자원 언어와 성적 지향, 성별과 같은 디모그래픽 축이 더 높은 독성을 보이며, 독성 번역의 84%가 낮은 소스 기여도와 연관되어 있음을 확인하였다. 이는 오역 또는 환각 현상과 관련된 것으로 나타났다. 본 연구는 훈련 데이터를 정제하고 환각 현상을 줄이며 불안정한 번역을 점검함으로써 독성을 완화할 것을 제안한다.

ABSTRACT

Machine Translation systems can produce different types of errors, some of which are characterized as critical or catastrophic due to the specific negative impact that they can have on users. In this paper we focus on one type of critical error: added toxicity. We evaluate and analyze added toxicity when translating a large evaluation dataset (HOLISTICBIAS, over 472k sentences, covering 13 demographic axes) from English into 164 languages. An automatic toxicity evaluation shows that added toxicity across languages varies from 0% to 5%. The output languages with the most added toxicity tend to be low-resource ones, and the demographic axes with the most added toxicity include sexual orientation, gender and sex, and ability. We also perform human evaluation on a subset of 8 translation directions, confirming the prevalence of true added toxicity. We use a measurement of the amount of source contribution to the translation, where a low source contribution implies hallucination, to interpret what causes toxicity. Making use of the input attributions allows us to explain toxicity, because the source contributions significantly correlate with toxicity for 84% of languages studied. Given our findings, our recommendations to reduce added toxicity are to curate training data to avoid mistranslations, mitigate hallucination and check unstable translations.

연구 동기 및 목표

• 다국어 기계 번역 시스템에서 추가 독성의 보편성과 원인을 조사하는 것.
• 번역 출력에서 오역 또는 환각 현상으로 인해 독성이 유입되는지 분석하는 것.
• 대규모이고 다양한 데이터셋을 사용하여 다국어 환경에서 자동 독성 탐지의 신뢰성을 평가하는 것.
• 추가 독성 증가와 관련된 언어별 및 디모그래픽 패턴을 식별하는 것.
• 소스 기여도와 번역 강건성 지표를 바탕으로 한 완화 전략을 제안하는 것.

제안 방법

• 연구는 HolisticBias 데이터셋을 사용한다. 이는 13개의 디모그래픽 축과 472,000개 이상의 문장을 포함한 합성적이고 템플릿 기반의 다국어 평가 세트이다.
• 자동 독성 탐지는 소스에 존재하지 않는 추가 독성을 식별하기 위해 단어 목록 기반 분류기를 적용한다.
• alti+ 방법을 사용하여 입력 기여도를 계산하여 각 번역 토큰에 대한 소스 기여도를 측정한다.
• Gini 불순도는 정렬된 번역 간에 계산되어 번역 출력의 강건성과 다양성을 평가한다.
• 자동 탐지의 정합성을 확인하기 위해 8개 번역 방향에서 인간 평가를 실시하며, 가짜 양성 및 가짜 음성 비율을 측정한다.
• 소스 기여도, Gini 불순도, 독성 간의 통계적 상관관계를 분석하여 인과적 패턴을 규명한다.

실험 결과

연구 질문

• RQ1 다국어 기계 번역에서 어느 언어 방향에서 추가 독성이 가장 높은가?
• RQ2 추가 독성이 얼마나 낮은 소스 기여도와 연관되어 있는가? 이는 오역 또는 환각 현상을 시사하는가?
• RQ3 Gini 불순도로 측정된 번역 강건성은 독성 발생과 어떻게 관련되는가?
• RQ4 인간 주석을 통해 검증된 다국어 환경에서 자동 독성 탐지의 신뢰도는 어떠한가?
• RQ5 어느 디모그래픽 축이 번역 출력에서 추가 독성에 가장 취약한가?

주요 결과

• 164개 언어에서 추가 독성 비율은 0%에서 5% 사이이며, 저자원 언어에서 더 높은 빈도를 보인다.
• 가장 높은 추가 독성 비율을 보인 디모그래픽 축은 성적 지향, 성별 및 성, 그리고 능력이다.
• 독성 번역의 84%는 낮은 소스 기여도를 보이며, 이는 오역 또는 환각 현상과의 강한 연관성을 시사한다.
• 낮은 소스 기여도와 높은 Gini 불순도의 조합은 기준 수준의 두 배 정도의 독성 비율을 보인다.
• 인간 평가 결과, 8개 번역 방향 중 5개에서 가짜 양성 비율이 1% 이하, 가짜 음성 비율이 3% 이하로 낮게 확인되었다.
• 연구는 독성 번역의 45.6%가 높은 소스 기여도를 보이며, 이는 오역이 추가 독성의 주요 원인임을 시사한다.