[논문 리뷰] Char2Subword: Extending the Subword Embedding Space from Pre-trained Models Using Robust Character Compositionality.

Gustavo Aguilar, Bryan McCann외 4명|arXiv (Cornell University)|2020. 10. 24.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 BERT의 서브워드 임베딩 레이어의 즉각적인 대체품이 되는 문자 기반 서브워드 모듈인 Char2Subword를 제안한다. 이 모듈은 문자로부터 서브워드 임베딩을 학습함으로써 철자 변형과 문자 수준의 교란에 대한 강건성을 확보한다. 미리 훈련하는 동안 변환기 가중치를 동결하면서 통합함으로써, 다국어 BERT보다 LinCE 벤치마크에서 언어 코드 스위칭에 대해 뛰어난 성능을 보인다.

ABSTRACT

Byte-pair encoding (BPE) is a ubiquitous algorithm in the subword tokenization process of language models. BPE provides multiple benefits, such as handling the out-of-vocabulary problem and reducing vocabulary sparsity. However, this process is defined from the pre-training data statistics, making the tokenization on different domains susceptible to infrequent spelling sequences (e.g., misspellings as in social media or character-level adversarial attacks). On the other hand, pure character-level models, though robust to misspellings, often lead to unreasonably large sequence lengths and make it harder for the model to learn meaningful contiguous characters. To alleviate these challenges, we propose a character-based subword transformer module (char2subword) that learns the subword embedding table in pre-trained models like BERT. Our char2subword module builds representations from characters out of the subword vocabulary, and it can be used as a drop-in replacement of the subword embedding table. The module is robust to character-level alterations such as misspellings, word inflection, casing, and punctuation. We integrate it further with BERT through pre-training while keeping BERT transformer parameters fixed. We show our method's effectiveness by outperforming a vanilla multilingual BERT on the linguistic code-switching evaluation (LinCE) benchmark.

연구 동기 및 목표

• 서브워드 모델에서 BPE 토크나이저의 도메인 외 철자 변형과 문자 수준의 교란에 대한 취약성을 해결하기 위해.
• 순수한 문자 수준 모델이 긴 시퀀스 길이와 연속된 문자 학습의 열악함으로 인해 겪는 한계를 극복하기 위해.
• 서브워드 임베딩의 강건성을 향상시키기 위해 문자 수준의 조합성을 활용하는 즉시 사용 가능한 모듈을 개발하기 위해.
• 미리 훈련하는 동안 BERT의 변환기 파라미터를 고정하면서도 코드 스위칭 및 OOV(Out-of-Vocabulary) 상황에서의 일반화 능력을 향상시키기 위해.
• 다국어 코드 스위칭 강건성 평가 기준인 LinCE 벤치마크에서 향상된 성능을 입증하기 위해.

제안 방법

• Char2Subword 모듈은 학습 가능한 문자 임베딩 테이블을 사용하여 개별 문자의 표현을 조합함으로써 서브워드 임베딩을 학습한다.
• 이 모듈은 어텐션 또는 풀링과 같은 미분 가능 합성 메커니즘을 통해 문자 수준의 특징을 집계하여 서브워드 표현을 구성한다.
• 이 모듈은 BERT의 원래 서브워드 임베딩 레이어의 대체품으로 삽입되어 변환기 아키텍처와 어텐션 메커니즘을 그대로 유지한다.
• 미리 훈련하는 동안은 오직 문자 및 서브워드 임베딩 테이블만 업데이트되고, 모든 변환기 레이어는 동결되어 파라미터 효율성을 확보한다.
• 표준 미세조정 프rotocol를 사용하여 다운스트림 작업에서 모델을 미세조정하며, 철자 변형과 코드 스위칭에 대한 강건성을 중점으로 한다.
• 이 방법은 케이스,标 punctuations, 및 경미한 철자 오류에 대해 불변인 서브워드 표현의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 문자 기반 서브워드 모듈이 서브워드 토크나이징에서 철자 변형과 문자 수준의 교란에 대해 강건성을 향상시킬 수 있는가?
• RQ2 Char2Subword로 향상된 BERT 모델은 코드 스위칭 벤치마크에서 순수한 다국어 BERT와 비교해 어떻게 성능을 내는가?
• RQ3 변환기 아키텍처를 수정하지 않고도 문자 수준의 조합 메커니즘이 얼마나 서브워드 표현 학습을 향상시킬 수 있는가?
• RQ4 Char2Subword를 사용하여 미리 훈련하는 동안 변환기 가중치를 동결함으로써, 저자원 또는 도메인 외 입력에서의 모델 일반화 능력이 유지되거나 향상되는가?

주요 결과

• Char2Subword 모듈은 철자 오류, 대소문자 변경, 구두점 변경과 같은 철자 변형에 대해 뚜렷한 강건성을 향상시킨다.
• 모델은 LinCE 벤치마크에서 순수한 다국어 BERT를 능가하며, 언어적 코드 스위칭 상황에서 뛰어난 성능을 보인다.
• 서브워드 임베딩 레이어의 즉시 대체품으로 Char2Subword를 통합함으로써, 변환기 레이어의 미세조정 없이도 다운스트림 성능이 향상된다.
• 모든 변환기 파라미터를 미리 훈련 중 동결함으로써 높은 효율성을 유지하며, 최적화는 문자 및 서브워드 임베딩 테이블에 집중된다.