Skip to main content
QUICK REVIEW

[논문 리뷰] Hallucinations in Large Multilingual Translation Models

Guerreiro, Nuno M., Duarte Alves|arXiv (Cornell University)|2023. 03. 28.
Ferroelectric and Negative Capacitance DevicesEngineering인용 수 13
한 줄 요약

이 논문은 100개가 넘는 방향에 걸친 대형 다국어 번역 모델(M2M-NMT 및 ChatGPT)의 환각을 분석하고, 교란 및 자연스러운 번역에 대한 유병률, 유형 및 완화 전략을 식별한다.

ABSTRACT

Large-scale multilingual machine translation systems have demonstrated remarkable ability to translate directly between numerous languages, making them increasingly appealing for real-world applications. However, when deployed in the wild, these models may generate hallucinated translations which have the potential to severely undermine user trust and raise safety concerns. Existing research on hallucinations has primarily focused on small bilingual models trained on high-resource languages, leaving a gap in our understanding of hallucinations in massively multilingual models across diverse translation scenarios. In this work, we fill this gap by conducting a comprehensive analysis on both the M2M family of conventional neural machine translation models and ChatGPT, a general-purpose large language model~(LLM) that can be prompted for translation. Our investigation covers a broad spectrum of conditions, spanning over 100 translation directions across various resource levels and going beyond English-centric language pairs. We provide key insights regarding the prevalence, properties, and mitigation of hallucinations, paving the way towards more responsible and reliable machine translation systems.

연구 동기 및 목표

  • 영어 중심 및 비영어 중심 방향에서 대규모 다국어 번역 모델의 환각의 유병률과 특성 평가.
  • 감독된 다국어 NMT(M2M 계열)와 프롬프트 기반 LLM 번역(ChatGPT) 간의 환각 동작 비교.
  • 다양한 언어 쌍과 도메인에 걸친 입력 교란 및 자연스러운(교란되지 않은) 번역에서의 환각 조사.
  • 디코더 설계, 균일 샘플링, 대체 시스템 사용을 포함한 완화 전략을 탐구하여 번역 신뢰성 향상

제안 방법

  • 100개 언어에서 M2M-100 가족 모델(S: 418M, M: 1.2B, L: 12B) 및 증류된 SMaLL100(330M)을 평가하고 빔 폭 4로 디코딩한다.
  • 제로샷 프롬프트로 번역하는 ChatGPT(gpt-3.5-turbo)를 사용하고 NMT 베이스라인과 비교한다.
  • 오탈자, 대문자 사용, 잦은 토큰 삽입 등 교란 기반 탐지와 자연스러운 환각 감지기를 통해 환각을 특징지운다.
  • ALTI+를 사용한 분리형(detached)과 Top-n-gram(TNG)을 사용한 진동형(oscillatory)으로 자연스러운 환각을 분류한다.
  • Flores-101, WMT, TICO 의 의료 도메인 데이터셋에서 평가하고, 품질 및 탐지 지표로 spBLEU, COMET-22, CometKiwi, LaBSE를 보고한다.
Figure 1 : Heatmap of hallucination rates for each model in the languages considered. Pattern-filled cells indicate at least one hallucination under perturbation for a given model-language pair.
Figure 1 : Heatmap of hallucination rates for each model in the languages considered. Pattern-filled cells indicate at least one hallucination under perturbation for a given model-language pair.

실험 결과

연구 질문

  • RQ1다국어 번역 모델에서 고자원, 중자원, 저자원 언어 간 환각은 얼마나 흔한가?
  • RQ2ChatGPT와 전통적인 NMT 모델은 다국어 번역에서 유사한 환각 패턴을 보이는가, 아니면 다른가?
  • RQ3어떤 유형의 자연스러운 환각이 나타나는가(분리형 대 진동형), 그리고 그것은 언어 자원 수준 및 번역 방향에 따라 어떻게 달라지는가?
  • RQ4교란 견고성 및 구조/훈련 선택이 환각을 완화할 수 있는가, 대체 시스템이 전반적인 번역 품질을 개선하는가?

주요 결과

  • 저자원 언어 쌍 및 비영어 중심 방향의 번역에서 환각 비율이 증가하며, 그 비율은 종종 10%를 초과한다.
  • 교란 하의 환각은 자원 수준이 높아질수록 감소하지만 언어 간 변동성은 지속된다; ChatGPT는 대상 외 번역 증가, 과생성, 진동형 환각이 상대적으로 적고 다른 패턴을 보인다.
  • SMaLL100 같은 증류된 얕은 모델은 인코더 표현에 더 의존하고 높은 자원 편향을 줄이기 위해 균일 샘플링을 사용하여 환각을 감소시킬 수 있으며, 이러한 모델은 저자원 설정에서 환각이 나타나는 언어 수가 더 적다.
  • 저자원 방향에서 자연스러운 환각이 자주 발생하고 분리형이 진동형보다 더 뚜렷하며, 중고자원 방향에서 진동형 환각이 더 많이 나타난다.
  • 다양한 모델을 활용한 대체 시스템은 번역 품질을 크게 개선하고 진동형과 같은 병리현상을 완화한다; 교란으로부터의 대부분의 환각은 추가 샘플링으로 역전될 수 있다.
Figure 2 : Heatmap of the percentage of hallucinations detected with TNG (oscillatory hallucinations) among all hallucinations. Pattern-filled cells indicate at least one natural hallucination for a given model-LP combination.
Figure 2 : Heatmap of the percentage of hallucinations detected with TNG (oscillatory hallucinations) among all hallucinations. Pattern-filled cells indicate at least one natural hallucination for a given model-LP combination.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.