[논문 리뷰] On the Multilingual Capabilities of Very Large-Scale English Language Models

Jordi Armengol-Estapé, Ona De Gibert Bonet외 1명|arXiv (Cornell University)|2021. 08. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 영어 전용 언어 모델인 GPT-3의 제로샷 다국어 능력을 조사하며, 훈련 데이터의 0.01798%에 불과한 저자원 언어인 칼라트르어에 초점을 맞춘다. 최소한의 노출에도 불구하고 GPT-3는 자연어 생성 및 추출형 질의응답 모두에서 뛰어난 성능을 보이며, 가장 큰 모델 버전에서 F1 스코어가 65.8%에 도달하여 저자원 환경에서도 상당한 다국어 전이 능력을 보임을 시사한다.

ABSTRACT

Generative Pre-trained Transformers (GPTs) have recently been scaled to unprecedented sizes in the history of machine learning. These models, solely trained on the language modeling objective, have been shown to exhibit outstanding few-shot learning capabilities in a number of different tasks. Nevertheless, aside from anecdotal experiences, little is known regarding their multilingual capabilities, given the fact that the pre-training corpus is almost entirely composed of English text. In this work, we investigate the multilingual skills of GPT-3, focusing on one language that barely appears in the pre-training corpus, Catalan, which makes the results especially meaningful; we assume that our results may be relevant for other languages as well. We find that the model shows an outstanding performance, particularly in generative tasks, with predictable limitations mostly in language understanding tasks but still with remarkable results given the zero-shot scenario. We investigate its potential and limits in extractive question-answering and natural language generation, as well as the effect of scale in terms of model size.

연구 동기 및 목표

• GPT-3의 제로샷 다국어 능력을 칼라트르어와 같은 저자원 언어에서 평가하는 것. 칼라트르어는 사전 훈련 코퍼스의 0.01798%에 불과하다.
• 매우 대규모 영어 언어 모델이 피팅 튜닝이나 명시적 다국어 사전 훈련 없이도 다른 언어로 일반화할 수 있는지 평가하는 것.
• 모델 규모가 자연어 이해 및 생성 과제에서 다국어 전이 성능에 미치는 영향을 조사하는 것.
• 특히 계산 비용과 토큰화 비효율성 측면에서 GPT-3가 비영어 언어에 실용적으로 사용 가능한지 탐색하는 것.

제안 방법

• 본 연구는 GPT-3를 다양한 모델 크기(text-davinci-002, text-curie-001 등)로 평가하며, 칼라트르어에서 질의응답 및 텍스트 생성 과제에 대해 제로샷 프롬프팅을 사용한다.
• 추출형 질의응답의 경우, 모델은 맥락과 질문 쌍을 프롬프트로 제공받으며, 예측 결과는 F1 및 정확매칭 스코어로 평가된다.
• 자연어 생성의 경우, GPT-3는 헤드라인 또는 부분 문장 프롬프트를 받아 일관된 칼라트르어 텍스트를 생성하며, 인간 평가자들이 5점 척도로 평가한다.
• 인간 평가에는 샘플당 3명의 평가자가 참여하여 신뢰도를 확보하고, 통계적 유의성은 t-검정을 통해 테스트한다.
• 분석은 GPT-3의 성능을 인간이 작성한 대조군과 비교하며, 유창성, 일관성, 의미 정확성에 중점을 둔다.
• 모델 크기와 제로샷 다국어 전이 성능 간의 관계를 분석하기 위해 스케일링 곡선을 그린다.

실험 결과

연구 질문

• RQ1 GPT-3는 사전 훈련 데이터에 최소한의 존재를 보이는 칼라트르어에서 제로샷 자연어 이해 및 생성을 수행할 수 있는가?
• RQ2 모델 크기가 저자원 언어의 제로샷 다국어 과제에서 GPT-3의 성능에 어떤 영향을 미치는가?
• RQ3 GPT-3의 칼라트르어 출력 성능이 인간이 작성한 텍스트에 비해 유창성과 일관성 측면에서 어떻게 다른가?
• RQ4 GPT-3의 칼라트르어 출력에서 주요 실패 유형과 오류 패tern은 무엇인가?
• RQ5 언어적 유사성과 구조적 보편성은 GPT-3에서 관찰된 다국어 전이 현상을 어느 정도 설명할 수 있는가?

주요 결과

• GPT-3는 가장 큰 모델 버전(text-davinci-002)을 사용하여 칼라트르어에서 추출형 질의응답 과제에서 F1 스코어 65.8%를 기록하여 강력한 제로샷 NLU 능력을 보임을 시사한다.
• 자연어 생성 과제에서 GPT-3의 출력은 평균 인간 평가 점수 3.83점(5점 만점)을 기록했으며, 인간 대조군의 4.49점보다 유의미하게 낮게(= 0.00026) 평가되었지만, 제로샷 설정임을 감안하면 여전히 높은 성능을 보였다.
• 평균 점수가 낮음에도 불구하고, GPT-3가 생성한 문장 중 33.33%는 인간 대조군 평균을 초월했으며, 21.6%는 문법적으로 올바르지만 의미적으로 특이한 경우가 있었다.
• 지역 특화 헤드라인을 프롬프트로 제공했을 때, GPT-3는 발렌시아어 변형 칼라트르어를 일관되게 생성하는 데 성공하여 암묵적인 방식으로 방언 차이에 적응하는 능력을 보였다.
• 스케일링 곡선 분석 결과, 사전 훈련 데이터량이 일정한 동안 모델 크기가 커질수록 성능이 급격히 향상됨을 확인하여 다국어 전이에서 강력한 스케일링 법칙이 작용함을 시사한다.
• 작은 GPT-3 버전은 토큰화 비효율성과 긴 시퀀스 길이로 인해 칼라트르어 처리에 계산적으로 비실용적이며, 저자원 언어에서의 주요 장애물임을 드러낸다.