[논문 리뷰] IndoBERTweet: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization

Fajri Koto, Jey Han Lau외 1명|arXiv (Cornell University)|2021. 09. 10.

Topic Modeling참고 문헌 27인용 수 4

한 줄 요약

이 논문은 인도네시아어 트위터를 위한 최초의 대규모 사전학습된 언어 모델인 IndoBERTweet를 소개한다. 이 모델은 하위어형 임베딩 평균을 통해 도메인 특화 어휘를 추가함으로써 단일 언어 인도네시아어 BERT 모델을 향상시킨다. 이 방법은 사전학습을 5배 빠르게 하며, 일곱 가지 트위터 기반 자연어 처리 작업에서 모두 사전학습을 처음부터 수행하는 것과 word2vec 기반 초기화 방식을 능가하여 도메인 적응에서 뛰어난 효율성과 효과성을 입증한다.

ABSTRACT

We present IndoBERTweet, the first large-scale pretrained model for Indonesian Twitter that is trained by extending a monolingually-trained Indonesian BERT model with additive domain-specific vocabulary. We focus in particular on efficient model adaptation under vocabulary mismatch, and benchmark different ways of initializing the BERT embedding layer for new word types. We find that initializing with the average BERT subword embedding makes pretraining five times faster, and is more effective than proposed methods for vocabulary adaptation in terms of extrinsic evaluation over seven Twitter-based datasets.

연구 동기 및 목표

• 인도네시아어 소셜 미디어 텍스트에 특화된 고성능의 대규모 사전학습된 언어 모델을 개발하기 위해.
• 도메인 적응형 사전학습에서 어휘 불일치 문제를 해결하기 위해 도메인 특화어의 초기화 전략을 여러 가지 평가하기 위해.
• 모델 성능을 유지하거나 향상시키면서 도메인 적응의 계산 비용을 줄이기 위해.
• 도메인 특화된 최첨단 모델을 공개하여 인도네시아어 트위터 자연어 처리 분야의 기준을 설정하기 위해.

제안 방법

• 2600만 개의 트위터 인도네시아어 코퍼스에서 유래한 도메인 특화 어휘 토큰을 추가함으로써 인도네시아어 BERT 모델인 IndoBERT를 확장한다.
• 트위터 데이터셋에 WordPiece 토크나이제이션을 적용하고, 31,984종의 도메인 특화 어휘를 구성한다.
• 기본 IndoBERT 모델을 트위터 코퍼스에 대해 200,000 스텝 동안 피니터닝하여 도메인 적응형 사전학습을 구현한다.
• 네 가지 어휘 초기화 전략을 테스트한다: 무작위, word2vec 투영, 하위어형 임베딩 평균의 두 가지 변형(평균 및 학습된 방식).
• 최대 시퀀스 길이 128 토큰을 유지하며, 원본 IndoBERT 설정과 동일하게 마스크된 언어 모델링 목적함수를 사용한다.
• 감성 분석 및 명명된 실체 인식과 같은 일곱 가지 후행 트위터 기반 자연어 처리 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기본 모델의 하위어형 임베딩 평균을 사용해 도메인 특화 어휘를 초기화하면, 무작위 또는 word2vec 기반 초기화보다 성능 향상이 이루어지는가?
• RQ2 다양한 어휘 초기화 방법을 사용할 때, 도메인 적응형 사전학습의 계산 효율성은 사전학습을 처음부터 수행하는 것과 비교해 어떻게 되는가?
• RQ3 하위어형 평균 초기화를 사용한 도메인 적응형 접근 방식은 사전학습을 처음부터 수행한 모델보다 인도네시아어 트위터 데이터에서 성능이 뛰어나게 되는가?
• RQ4 어휘 불일치가 모델 성능에 어떤 영향을 미치며, 하위어형 평균은 이 문제를 어느 정도 완화할 수 있는가?

주요 결과

• 하위어형 임베딩 평균 방법은 사전학습을 처음부터 수행하는 것에 비해 사전학습 시간을 80% 감소시켜 다섯 배의 속도 향상을 달성했다.
• 평균적으로 하위어형 임베딩 평균 초기화 방법은 일곱 가지 후행 작업에서 가장 높은 F1 스코어를 기록했으며, 무작위 및 word2vec 기반 초기화 방식을 모두 능가했다.
• 평균 하위어형 임베딩으로 초기화된 모델는 원본 IndoBERT와 비교해 성능 격차가 오직 -0.2%p 이내로 유지되어 사전학습 없이도 최소한의 성능 저하를 보였다.
• 200,000 스텝의 도메인 적응형 사전학습 후, 하위어형 임베딩 평균 방법은 100만 스텝의 사전학습을 처음부터 수행한 모델조차도 능가하여 더 뛰어난 샘플 효율성을 입증했다.
• 이 방법은 뛀난 일반화 성능를 보였으며, 새로운 토큰당 평균 하위어형 수가 IndoBERTweet의 경우 2.6으로, BERTweet의 3.4보다 낮아 토크나이제이션 효율성이 뛰어나다는 것을 보였다.
• 영어로의 전이 실험에서, 하위어형 임베딩 평균 방법은 RoBERTa와 BERTweet 간의 성능 격차를 +3.4%p에서 +2.2%p로 줄였으며, 사전학습 데이터의 1/10만 사용한 것으로도 이뤄졌다.