[논문 리뷰] Cedille: A large autoregressive French language model

Martin Müller, Florian Laurent|arXiv (Cornell University)|2022. 02. 07.

Topic Modeling인용 수 7

한 줄 요약

Cedille는 다국어 C4 데이터셋의 필터링된 프랑스어 서브셋으로 사전 훈련된 6.05B 매개변수의 자동회귀 언어 모델로, 프랑스어 NLP 벤치마크에서 최신 기술 수준의 제로샷 성능을 달성하고, 데이터셋 수준의 필터링을 통해 GPT-3보다 독성 감소에서 뛰어난 성능을 보였다. 이 모델은 MIT 라이선스 하에 공개되었으며, 프랑스어 생성에서 개선된 안전성과 유창성을 보여주었다.

ABSTRACT

Scaling up the size and training of autoregressive language models has enabled novel ways of solving Natural Language Processing tasks using zero-shot and few-shot learning. While extreme-scale language models such as GPT-3 offer multilingual capabilities, zero-shot learning for languages other than English remain largely unexplored. Here, we introduce Cedille, a large open source auto-regressive language model, specifically trained for the French language. Our results show that Cedille outperforms existing French language models and is competitive with GPT-3 on a range of French zero-shot benchmarks. Furthermore, we provide an in-depth comparison of the toxicity exhibited by these models, showing that Cedille marks an improvement in language model safety thanks to dataset filtering.

연구 동기 및 목표

• 프랑스어 전용으로 대규모이며 오픈소스인 자동회귀 언어 모델을 개발하는 것.
• 기존의 단일언어 및 다국어 모델 대비 프랑스어 NLP 작업에서의 제로샷 성능을 향상시키는 것.
• 후행 생성 제어가 아닌 훈련 데이터의 사전 필터링을 통해 모델의 독성을 감소시키는 것.
• 폐쇄형 대규모 언어 모델의 대안으로 재현 가능하고 투명한 모델을 제공하여 연구 접근성과 안전성을 향상시키는 것.

제안 방법

• 모델 아키텍처는 GPT-J를 기반으로 하며, 28층, 4096 모델 차원, 16개의 어텐션 헤드, 그리고 로테이션 위치 임베딩을 사용하는 디코더 전용 트랜스포머이다.
• 사전 훈련은 mC4의 프랑스어 서브셋에서 필터링된 버전을 사용하여, 데이터 정제 후 총 2억 6,500만 건의 문서로 이루어진다.
• 독성 필터링은 Detoxify 모델을 사용하여 독성 점수 > 0.5인 문서를 제거함으로써 수행되며, 콘텐츠의 0.25%가 제거되어 총 80만 건의 문서가 제외되었다.
• 손실 기반 필터링은 FlauBERT를 활용하여 극단적인 손실 값(0.2 백분위수 이하 또는 10 초과)을 가진 문서를 식별하고 제거하며, 약 20%의 문서(6,600만 건)가 제거되었다.
• 최종 모델는 GPT-J에서 파생된 사전 훈련된 가중치를 기반으로 피지컬 테이닝을 수행하였으며, 영어와 프랑스어 데이터에 대한 사전 노출 덕분에 더 나은 제로샷 다국어 능력을 확보하였다.
• 독성 평가는 정제된 프랑스어 프롬프트 세트를 기반으로 한 생성을 통해 수행되며, 25번의 생성에서 최대 독성 수준과 독성 출력 확률을 측정하였다.

실험 결과

연구 질문

• RQ1 대규모 단일언어 프랑스어 언어 모델은 GPT-3와 같은 초대규모 다국어 모델에 비해 경쟁적인 제로샷 성능을 달성할 수 있는가?
• RQ2 독성에 대해 필터링된 훈련 데이터는 성능 저하 없이 생성된 독성 출력을 측정 가능한 수준으로 감소시키는가?
• RQ3 Cedille의 제로샷 NLP 벤치마크 성능은 GPT-fr 및 PAGnol과 같은 기존 프랑스어 모델과 비교해 어떻게 되는가?
• RQ4 고품질의 프랑스어 데이터셋을 사전 필터링하여 사전 훈련하면, 프랑스어 언어 이해 작업에서 퍼즐리티 및 유창성에 얼마나 기여하는가?
• RQ5 다국어 기반 모델(GPT-J)에서 파생된 피지컬 테이닝된 모델은 태스크 전용 피지컬 테이닝 없이도 프랑스어-영어 번역 작업에서 우수한 제로샷 번역 성능을 달성할 수 있는가?

주요 결과

• Cedille는 프랑스어 WikiText 벤치마크에서 새로운 최고의 퍼즐리티 점수를 기록하여, 더 뛰어난 언어 모델링 능력을 보였다.
• 제로샷 NLP 벤치마크에서 Cedille는 기존의 프랑스어 언어 모델을 능가했으며, 여러 작업에서 GPT-3의 성능을 따라하거나 초월하였다.
• 25번의 생성에서 기대되는 최대 독성 수준은 Cedille에서 0.66으로, GPT-3(0.68), GPT-J(0.73), GPT-fr(0.73)보다 낮아 독성이 감소한 것으로 나타났다.
• 25번의 생성에서 최소한 한 번의 독성 출력이 발생할 확률은 Cedille에서 0.72로, GPT-3(0.74), GPT-J(0.78), GPT-fr(0.78)보다 낮아 안전성이 향상된 것으로 확인되었다.
• 훈련 데이터의 독성 필터링은 최대 독성 수준과 독성 생성 확률을 모두 감소시켜, 데이터 수준의 안전 조치가 효과적임을 입증하였다.
• 손실 계산 오류로 약 10%의 잘못된 샘플이 포함되었을 가능성이 있었지만, 체계적 편향은 발견되지 않았으며 모델 성능은 여전히 강력했다.