[논문 리뷰] Universal Language Model Fine-Tuning with Subword Tokenization for Polish

Piotr Czapla, Jeremy Howard외 1명|arXiv (Cornell University)|2018. 10. 24.

Natural Language Processing Techniques참고 문헌 14인용 수 8

한 줄 요약

이 논문은 문체적으로 복잡한 폴란드어의 언어 모델링 성능을 향상시키기 위해 SentencePiece와 유니버설 언어 모델 파인튜닝(ULMFiT)을 사용한 서브워드 토크나이제이션 방법을 제안한다. ULMFiT를 유니그램 서브워드 토크나이제이션으로 적응시킴으로써, PolEval'18 테스트 세트에서 95.0의 새로운 최고 수준의 난이도 지수를 달성하여 두 번째로 좋은 모델보다 35% 우수하며, 자원이 적은 환경에서의 후행 NLP 작업에 대해 강력한 전이 학습 잠재력을 보여준다.

ABSTRACT

Universal Language Model for Fine-tuning [arXiv:1801.06146] (ULMFiT) is one of the first NLP methods for efficient inductive transfer learning. Unsupervised pretraining results in improvements on many NLP tasks for English. In this paper, we describe a new method that uses subword tokenization to adapt ULMFiT to languages with high inflection. Our approach results in a new state-of-the-art for the Polish language, taking first place in Task 3 of PolEval'18. After further training, our final model outperformed the second best model by 35%. We have open-sourced our pretrained models and code.

연구 동기 및 목표

• 표준 단어 수준의 임베딩과 n-그램 모델의 효과를 제한하는 폴란드어의 높은 형태적 변화 문제를 해결하기 위해.
• 원래 영어를 대상으로 설계된 ULMFiT를 서브워드 토크나이제이션을 사용해 폴란드어 언어 모델링에서 최고 성능을 내도록 적응시키기 위해.
• 자원이 적은 환경(예: 폴란드어)에서 후행 NLP 작업의 데이터 및 계산 요구량을 줄이기 위해 효과적인 전이 학습을 가능하게 하기 위해.
• 폴란드어 NLP에서 FastText 기반 단어 표현을 더 견고한 서브워드 기반 ULMFiT 프레임워크로 대체하기 위해.

제안 방법

• 폴란드어의 형태적 빈도를 처리하기 위해 SentencePiece의 유니그램 서브워드 토크나이제이션을 사용하여, OOV 처리 개선과 의미 유사성 유지가 가능하도록 함.
• ULMFiT의 파인튜닝 전략을 사용해 PolEval 2018 언어 모델 데이터셋에서 4층의 LSTM 언어 모델(1150개의 히든 유닛, 400차원 임베딩)을 훈련함.
• 두 단계 훈련 과정을 적용: 먼저 25% 데이터 서브셋으로 하이퍼파라미터를 튜닝하고, 이후 전체 데이터셋으로 성능을 최적화함.
• 더 큰 어휘 크기를 위해 샘플드 소프트맥스(15,000개 샘플)를 사용했으며, 데이터셋 크기 제약으로 인해 서브워드 정규화를 회피함.
• 문장 중복 제거, 희귀 토큰 제거, 그리고 대문자어 처리를 위해 선택적 <up> 제어 토큰 적용을 포함해 텍스트 전처리 수행.
• 검증 난이도 지수를 사용해 모델 평가하고, 최종 테스트를 위해 성능이 가장 우수한 설정을 선택함.

실험 결과

연구 질문

• RQ1 서브워드 토크나이제이션을 ULMFiT와 결합함으로써, 형태적으로 빈도가 높은 언어인 폴란드어의 언어 모델링 성능 향상이 가능한가?
• RQ2 서브워드 기반 폴란드어 언어 모델에서 어휘 크기가 난이도 지수와 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ3 더 깊은 반복 구조를 가진 모델이 더 높은 메모리와 훈련 비용을 감안할 때 폴란드어에서 성능 향상에 기여하는가?
• RQ4 텍스트 전처리, 예를 들어 대문자 처리와 같은 조치가 폴란드어 언어 모델링 성능에 어느 정도의 영향을 미치는가?
• RQ5 서브워드 표현을 사용함으로써 ULMFiT의 전이 학습 프레임워크가 자원이 적고 형태적 변화가 빈도가 높은 언어인 폴란드어에 효과적으로 적응 가능한가?

주요 결과

• 최고 성능을 보인 모델는 추가 하이퍼파라미터 튜닝 후 테스트 난이도 지수 95.0을 달성하여, 두 번째로 좋은 모델(146.7)보다 뚜렷이 뛰어남.
• 모델는 PolEval’18의 Task 3에서 1위를 차지하여 폴란드어 언어 모델링 벤치마크에서 최고 성능을 입증함.
• 어휘 크기가 모델 성능에 가장 큰 영향을 미쳤으며, 작은 어휘 크기는 문자 수준 모델링에 가까워지고, 큰 어휘 크기는 어근 수준의 유사성 정보를 상실함.
• 4층 모델이 전체 데이터셋에서 3층 모델보다 우수한 성능을 보였으며, 충분한 데이터로 훈련된 경우 더 깊은 아키텍처가 폴란드어의 형태적 복잡성을 더 잘 포착함.
• <up> 토큰을 사용한 대문자 처리 전처리는 난이도 지수에 유의미한 영향을 미치지 않았으며, 어휘 크기가 100,000일 경우 약간의 성능 저하만 관찰됨.
• 최종 모델는 두 번째로 좋은 모델보다 35%의 상대적 향상을 달성하여, 자원이 적고 형태적 변화가 빈도가 높은 언어에 대해 서브워드 토크나이제이션과 ULMFiT의 융합이 매우 효과적임을 입증함.