[논문 리뷰] Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction

Danushka Bollegala, Ryuichi Kiryo외 2명|arXiv (Cornell University)|2020. 02. 25.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

이 논문은 다국어 단어 유사도 예측을 위한 언어 독립적 토크나이제이션(LIT)과 언어 특화 토크나이제이션(LST)을 비교한다. BPE와 언어 모델링을 사용한 LIT는 작은 어휘 크기(<100K)에서 LST를 능가하며, 이는 LIT가 자원이 적은 언어나 컴팩트 모델에 적합함을 보여주며, 서브워드 공간이 의미적 및 문법적 구조를 유지함을 시사한다.

ABSTRACT

Language-independent tokenisation (LIT) methods that do not require labelled language resources or lexicons have recently gained popularity because of their applicability in resource-poor languages. Moreover, they compactly represent a language using a fixed size vocabulary and can efficiently handle unseen or rare words. On the other hand, language-specific tokenisation (LST) methods have a long and established history, and are developed using carefully created lexicons and training resources. Unlike subtokens produced by LIT methods, LST methods produce valid morphological subwords. Despite the contrasting trade-offs between LIT vs. LST methods, their performance on downstream NLP tasks remain unclear. In this paper, we empirically compare the two approaches using semantic similarity measurement as an evaluation task across a diverse set of languages. Our experimental results covering eight languages show that LST consistently outperforms LIT when the vocabulary size is large, but LIT can produce comparable or better results than LST in many languages with comparatively smaller (i.e. less than 100K words) vocabulary sizes, encouraging the use of LIT when language-specific resources are unavailable, incomplete or a smaller model is required. Moreover, we find that smoothed inverse frequency (SIF) to be an accurate method to create word embeddings from subword embeddings for multilingual semantic similarity prediction tasks. Further analysis of the nearest neighbours of tokens show that semantically and syntactically related tokens are closely embedded in subword embedding spaces

연구 동기 및 목표

• 언어 독립적 토크나이제이션(LIT)이 다국어 어휘 유사도 예측에서 언어 특화 토크나이제이션(LST)과 동등하거나 뛰어난 성능을 내는지 평가하기 위해.
• 다양한 언어에서 어휘 크기가 LIT와 LST의 성능에 미치는 영향을 평가하기 위해.
• 서브워드 임베딩에서 어휘 임베딩을 조합하기 위한 부드러운 역빈도(SIF) 방법의 효과성을 조사하기 위해.
• 서브워드 임베딩 공간이 어휘 임베딩 공간에서 관찰되는 의미적, 문법적, 그리고 유추적 관계를 유지하는지 조사하기 위해.
• 대규모 코퍼스에서 LIT 방법(BPE와 언어 모델링)의 학습 효율성을 비교하기 위해.

제안 방법

• LIT 방법—바이트 페어 인코딩(BPE)과 언어 모델링(LM)—은 언어 특화 자원 없이 여덟 개의 언어에 적용되었다.
• LST 방법은 수동으로 토크나이징된 코퍼스와 언어 특화 어휘집을 사용하여 학습되었다.
• 서브워드 임베딩은 LIT 및 LST 모두의 토크나이징된 코퍼스에서 GloVe를 사용하여 학습되었다.
• 어휘 임베딩는 서브워드 임베딩를 부드러운 역빈도(SIF) 방법을 사용하여 조합되었으며, 이는 단어 빈도에 따라 서브워드를 가중치 부여하고 첫 번째 주성분을 제거한다.
• 어휘 쌍 간의 의미 유사도는 조합된 어휘 임베딩 간의 코사인 유사도로 계산되었다.
• 근접 이웃 분석과 유추 문제 해결을 통해 서브워드 임베딩 공간의 구조적 특성을 평가하였다.

실험 결과

연구 질문

• RQ1 언어 독립적 토크나이제이션(LIT)이 다양한 언어에서 어휘 유사도 예측에서 언어 특화 토크나이제이션(LST)과 동등하거나 뛰어난 성능을 내는가?
• RQ2 어휘 크기가 의미 유사도 작업에서 LIT와 LST의 상대적 성능에 미치는 영향은 무엇인가?
• RQ3 다국어 환경에서 서브워드 임베딩에서 어휘 임베딩을 조합하기 위한 부드러운 역빈도(SIF) 방법은 효과적인가?
• RQ4 서브워드 임베딩 공간이 어휘 임베딩 공간에서 관찰되는 의미적 및 문법적 관계를 유지하는가?
• RQ5 BPE와 언어 모델링(LM) LIT 방법의 학습 시간은 코퍼스 크기가 증가함에 따라 어떻게 변화하는가?

주요 결과

• 어휘 크기가 100K 이하일 경우, LIT 방법(BPE 및 LM)이 어휘 유사도 예측에서 LST 방법을 능가하며, 이는 LIT가 자원이 적은 언어나 컴팩트 모델 환경에 적합함을 시사한다.
• 어휘 크기가 100K를 초과할 경우, LST는 항상 LIT를 능가하며, 이는 LST가 더 큰 고품질 언어학적 자원에서 유의미한 이점을 얻음을 시사한다.
• 부드러운 역빈도(SIF) 방법은 서브워드 임베딩에서 어휘 임베딩을 조합하는 데 효과적이며, 다국어 의미 유사도 작업에서 성능 향상을 이룬다.
• 근접 이웃 분석 결과, 의미적 및 문법적으로 관련된 서브토큰들이 서브워드 임베딩 공간에서 상위 이웃으로 검색되며, 이는 구조적 일관성을 나타낸다.
• 유추 관계—영어 접미사, 일본어 한자 복합어, 터키어 동사 어형 변화 등—은 서브워드 임베딩 공간에서 복원 가능하며, 관계적 구조가 유지됨을 확인한다.
• 언어 모델링(LM)은 BPE보다 훨씬 빠르며, 어휘 크기가 증가함에 따라 더 잘 스케일링되며, BPE와는 달리 어휘 크기가 커질수록 학습 시간이 감소한다.