[논문 리뷰] Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

Eleftheria Briakou, Colin Cherry외 1명|arXiv (Cornell University)|2023. 05. 17.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델의 제로샷 번역 능력을 설명하는 데 초점을 맞추며, 프리트레이닝 기간 동안 뜻하지 않게 노출된 번역 쌍(incidental bilingualism)이 그 원인임을 파악하고자 한다. PaLM을 사례로 삼아 분석한 결과, PaLM은 44개 언어에서 3,000만 개 이상의 번역 쌍에 노출되었으며, 이러한 유형의 임의적 신호를 추출함으로써 제로샷 번역 품질이 평균 14 chrF 포인트 향상됨을 확인하였다. 이는 프리트레이닝 데이터 구성이 모델 능력에 미치는 영향이 크다는 것을 시사한다.

ABSTRACT

Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.

연구 동기 및 목표

• PaLM과 같은 대규모 언어 모델의 제로샷 번역 능력의 기원을 규명하는 것.
• PaLM의 프리트레이닝 데이터 내에서 의도치 않은 이중어 노출의 정도와 성격을 정량화하는 것.
• 의도치 않은 이중어 콘텐츠가 번역 성능에 미치는 영향을 평가하는 것.
• 의도치 않은 번역 쌍을 추출함으로써 제로샷 번역 품질을 향상시킬 수 있음을 입증하는 것.

제안 방법

• 자동화된 언어 태깅과 정성적 분석을 융합한 혼합 방법론을 개발하여 PaLM의 프리트레이닝 데이터 내 이중어 콘텐츠를 탐지하는 데 사용하였다.
• 다국어 문장 임베딩(LABSE)과 히우리스틱 필터(예: 토큰 길이, 편집 거리, 언어 식별)를 활용해 이중어 인스턴스에서 번역 쌍을 추출하였다.
• 추출한 번역 쌍에서 데이터 기반 프롬프트를 학습하고, 제로샷 및 소수의 프롬프트를 사용한 설정에서 그 영향을 평가하였다.
• 감소된 번역 쌍 탐지 효과를 분리하기 위해 더 작은 PaLM 버전(1B 및 8B 파라미터)에서 아블레이션 연구를 수행하였다.
• 각 언어의 단일어 및 이중어 콘텐츠 간 상관관계를 측정하여 데이터 분포 패턴을 평가하였다.
• 제로샷 및 소수의 프롬프트 설정에서의 일관된 평가를 위해 FLORES-200 데이터셋 분할을 사용하였다.

실험 결과

연구 질문

• RQ1 PaLM의 프리트레이닝 데이터 내에서 여러 언어에 걸쳐 의도치 않은 이중어가 얼마나 존재하는가?
• RQ2 비영어 언어에서 의도치 않은 이중어 콘텐츠의 양이 단일어 콘텐츠의 양과 어떻게 상관관계가 있는가?
• RQ3 의도치 않은 번역 쌍을 추출함으로써 PaLM의 제로샷 번역 성능을 향상시킬 수 있는가?
• RQ4 의도치 않은 번역 쌍을 제거함으로써 작은 모델에서 번역 품질에 어떤 영향을 미치는가?
• RQ5 모델 규모가 의도치 않은 이중어의 영향력에 미치는 조절 효과는 어떠한가?

주요 결과

• PaLM은 최소 44개 언어에서 3,000만 개 이상의 번역 쌍에 노출되었으며, 훈련 인스턴스의 0.34%가 최소 한 개 이상의 번역 쌍을 포함하고 있었다.
• 언어의 단일어 콘텐츠 양이 그 언어의 의도치 않은 이중어 또는 번역 콘텐츠의 양을 강력하게 예측한다.
• 의도치 않은 번역 쌍에서 추출한 데이터 기반 프롬프트를 사용함으로써 비영어 언어의 제로샷 번역 성능이 평균 14 chrF 포인트 향상되었다.
• 감소된 번역 쌍 탐지로 인해 1B 파라미터 모델에서 제로샷 BLEU 점수가 7.4 포인트 감소하였으며, 5샷 설정에서는 5.9 포인트 감소하였다.
• 의도치 않은 이중어의 영향력은 모델 규모가 증가함에 따라 감소하지만 여전히 유의미하며, 8B 파라미터 모델에서는 잔여 수익이 +2~3 BLEU 포인트에 이르렀다.
• 모든 언어에서 탐지 가능한 의도치 않은 번역 신호가 존재하여, 실제로는 어떤 언어도 진정으로 제로샷 번역이 가능한 상태가 아니었다.