[논문 리뷰] Investigating the Translation Performance of a Large Multilingual Language Model: the Case of BLOOM

Rachel Bawden, François Yvon|arXiv (Cornell University)|2023. 03. 03.

Natural Language Processing Techniques인용 수 12

한 줄 요약

본 논문은 BLOOM의 기계 번역을 여러 데이터세트와 언어로 평가하며, 0-shot MT가 과생성(overgeneration)과 언어 누출(language leakage)을 겪는 반면, few-shot 프롬프트가 성능을 크게 향상시킨다는 것을 발견했다; 교차언어 전이(cross-lingual transfer)가 발생하며, 언어적 맥락이 번역에 영향을 줄 수 있지만 점수를 일관되게 향상시키지는 않는다.

ABSTRACT

The NLP community recently saw the release of a new large open-access multilingual language model, BLOOM (BigScience et al., 2022) covering 46 languages. We focus on BLOOM's multilingual ability by evaluating its machine translation performance across several datasets (WMT, Flores-101 and DiaBLa) and language pairs (high- and low-resourced). Our results show that 0-shot performance suffers from overgeneration and generating in the wrong language, but this is greatly improved in the few-shot setting, with very good results for a number of language pairs. We study several aspects including prompt design, model sizes, cross-lingual transfer and the use of discursive context.

연구 동기 및 목표

• 다양한 언어 쌍과 데이터 세트에 걸친 BLOOM의 zero-shot 및 few-shot 번역 능력을 평가한다.
• 프롬프트 설계와 자세한 정도(verbosity)가 MT 품질에 미치는 영향을 연구한다.
• 교차언어 전이와 번역에서의 언어적 맥락의 역할을 고찰한다.
• 다른 모델과 BLOOM을 비교하고 표준 MT 벤치마크에서 기준선을 설정한다.

제안 방법

• Language Model Evaluation Harness를 사용하여 BLOOM을 0-shot 및 few-shot 설정에서 평가한다.
• 표준 BLEU 및 COMET 지표로 WMT, Flores-101, DiaBLa 데이터 세트에서 평가한다.
• 다양한 BLOOM 사이즈와 일곱 개의 프롬프트를 테스트하여 프롬프트 민감도를 분석한다.
• 과잉 생성(overgeneration)을 완화하고 fastText 언어 식별로 언어 누출을 탐지하기 위해 잘라내기(truncation)를 적용한다.
• BLOOM을 태스크 튜닝 모델과 baselines로서 OPT과 비교한다.

실험 결과

연구 질문

• RQ1 다른 언어 쌍과 데이터 세트에서 BLOOM은 0-shot 대 few-shot 번역에서 어떻게 수행하는가?
• RQ2 프롬프트 설계가 BLOOM의 MT 성능 및 프롬프트 민감도에 언어 간에 어떤 영향을 미치는가?
• RQ3 BLOOM이 교차언어 전이를 어느 정도 보이며, 인접하거나 관련 언어가 번역 품질에 어떤 영향을 미치는가?
• RQ4 언어적 또는 담화적 맥락이 번역 품질을 향상시키는가, 어떤 조건에서인가?

주요 결과

• 0-shot BLOOM 번역은 과생성(overgeneration) 및 잘못된 언어로 된 번역을 보이며, few-shot 설정에서 크게 완화된다.
• few-shot 프롬프트는 여러 언어 쌍과 데이터 세트에서 BLOOM의 MT 결과를 최첨단 수준에 가까이 데려간다.
• 관찰 가능한 전이 효과가 있으며, BLOOM은 학습에 공식적으로는 보지 않은 언어에서도 점수가 높게 나타날 수 있으며 few-shot 예시를 통해 언어 쌍 간 교차언어 전이를 보인다.
• 프롬프트 선택은 0-shot 결과에 큰 영향을 미치며, 일부 프롬프트는 거의 재앙적 MT 성능을 낳는 반면, 1-shot 성능은 프롬프트 선택에 덜 민감하다.
• 언어적 맥락은 지표 점수를 일관되게 높이지 않지만, BLOOM의 번역이 맥락의 영향을 받는다는 근거가 있다.