[논문 리뷰] IT5: Text-to-text Pretraining for Italian Language Understanding and Generation

Gabriele Sarti, Malvina Nissim|arXiv (Cornell University)|2022. 03. 07.

Natural Language Processing Techniques인용 수 15

한 줄 요약

이 논문은 400억 단어가 넘는 정제된 이탈리아어 코퍼스에 전적으로 전훈된 대규모 인코더-디코더 T5 모델인 IT5를 소개한다. IT5 모델은 질문 응답 및 헤드라인 생성과 같은 조건부 생성 작업을 포함한 여러 이탈리아어 자연어 생성 및 이해 작업에서 최신 기술 수준 성능을 달성하며, 특히 다국어 대비 모델인 mT5보다 뛰어난 성능을 보인다.

ABSTRACT

We introduce IT5, the first family of encoder-decoder transformer models pretrained specifically on Italian. We document and perform a thorough cleaning procedure for a large Italian corpus and use it to pretrain four IT5 model sizes. We then introduce the ItaGen benchmark, which includes a broad range of natural language understanding and generation tasks for Italian, and use it to evaluate the performance of IT5 models and multilingual baselines. We find monolingual IT5 models to provide the best scale-to-performance ratio across tested models, consistently outperforming their multilingual counterparts and setting a new state-of-the-art for Italian language generation.

연구 동기 및 목표

• NLP 분야에서 이탈리아어 전용 고성능 단일어 전훈 모델의 부족을 해결한다.
• 다국어 모델이 달성할 수 있는 것 이상의 성능을 이탈리아어 조건부 언어 생성 및 이해 작업에서 향상시킨다.
• 전훈에 적합한 철저히 정제된 대규모 이탈리아어 텍스트 코퍼스를 제공한다.
• 코드, 데이터, 전훈된 모델를 공개하여 이탈리아어 NLP의 새로운 벤치마크를 설정한다.
• 이탈리아어의 저자원 및 고자원 환경에서 단일어와 다국어 전훈 간의 성능-스케일 비용 대비를 조사한다.

제안 방법

• 이탈리아어 웹 크롤링 코퍼스를 히우리스틱을 사용해 비이탈리아어 텍스트, 중복, 코드, 폭력적 표현을 제거하여 정제하였다.
• 정제된 이탈리아어 코퍼스를 기반으로 T5 인코더-디코더 아키텍처를 사용해 세 가지 IT5 모델(Small, Base, Large)을 전훈하였다.
• 표준 T5 텍스트-텍스트 전훈 파라다임을 적용하여 모든 NLP 작업을 입력-출력 시퀀스 형식으로 재구성하였다.
• 질문 응답, 요약, 스타일 전이 등 다양한 8개의 다운스트림 작업에서 IT5 모델을 미세조정하였다.
• 이탈리아어 벤치마크에서 다국어 기준 모델(mT5, mBART) 및 이전 최신 기술 수준 시스템과의 성능을 비교하였다.
• TPU v3-8 및 고성능 컴퓨팅 클러스터를 사용해 전훈 및 미세조정을 수행하였으며, Hugging Face의 JAX/Flax 호환 스크립트를 활용하였다.

실험 결과

연구 질문

• RQ1 대규모 정제된 이탈리아어 코퍼스에 전훈된 단일어 T5 모델이 이탈리아어 전용 NLP 작업에서 다국어 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 이탈리아어 조건부 생성 작업에서 단일어 전훈이 성능-스케일 비용 비율에 어떤 영향을 미치는가?
• RQ3 뉴스 요약 및 공식-비공식 스타일 전이와 같은 특정 작업에서 왜 다국어 모델이 여전히 단일어 모델을 앞서는가?
• RQ4 계산 자원 제약이 단일어 전훈에서 모델 크기 확장을 통해 얻는 성능 향상에 어느 정도 제한을 둔다?
• RQ5 웹 스크래핑된 데이터의 편향이 IT5와 같은 대규모 단일어 모델의 출력에 어떤 영향을 미치며, 이는 배포에 어떤 함의를 갖는가?

주요 결과

• IT5 모델은 평가된 8개 작업 중 6개에서 최신 기술 수준 성능을 달성하였으며, 질문 응답 및 헤드라인 생성과 같은 작업에서 mT5 및 이전 시스템을 능가하였다.
• IT5 Large 모델은 추출형 질문 응답의 정확 일치 지표에서 새로운 최신 기술 수준 성능을 기록하였으며, 더 적은 데이터를 사용함에도 불구하고 XLM-R Large와의 격차를 좁혔다.
• 다국어 모델(mT5, mBART)은 여전히 뉴스 요약 및 공식-비공식 스타일 전이에서 선두를 유지하고 있으며, 이는 더 큰 모델 크기와 다국어 데이터 분포에 노출된 덕분일 것이다.
• 낮은 전훈 손실과 높은 전훈 정확도에도 불구하고, 더 큰 IT5 모델이 항상 더 작은 모델보다 뛰어나지 않으며, 이는 계산 자원 제약이 배치 크기와 모델 최적화를 제한했음을 시사한다.
• XFORMAL 데이터셋의 번역 오류 및 영문 약어는 단일어 IT5 모델에 혼란을 주지만, 다국어 모델은 이를 더 잘 포착하여 노이즈가 많은 번역된 데이터에 더 적합함을 시사한다.
• 연구는 시간과 계산 자원의 상호 대체 관계의 중요성을 강조하며, 일부 작업에 대해서는 전체 단일어 전훈보다 다국어 모델의 계속된 전훈이 더 효과적일 수 있음을 제안한다.