[논문 리뷰] A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models

Usman Naseem, Imran Razzak외 2명|arXiv (Cornell University)|2020. 10. 28.

Topic Modeling인용 수 4

한 줄 요약

이 종합 검토는 자연어 처리(NLP) 분야의 단어 표현 모델에 대한 포괄적인 개요를 제공한다. 고전적 방법(예: Bag-of-Words)부터 최신 딥러닝 기반 모델(예: Word2Vec, GloVe, FastText, 트랜스포머 기반 언어 모델, 예: BERT, ELMo)에 이르기까지를 포함한다. 이 모델들은 비정형 텍스트를 의미적이고 문법적인 정보를 포착하는 조밀한 벡터 표현으로 변환하며, 감성 분석 및 텍스트 분류와 같은 후속 NLP 작업에서 성능 향상을 이룬다.

ABSTRACT

Word representation has always been an important research area in the history of natural language processing (NLP). Understanding such complex text data is imperative, given that it is rich in information and can be used widely across various applications. In this survey, we explore different word representation models and its power of expression, from the classical to modern-day state-of-the-art word representation language models (LMS). We describe a variety of text representation methods, and model designs have blossomed in the context of NLP, including SOTA LMs. These models can transform large volumes of text into effective vector representations capturing the same semantic information. Further, such representations can be utilized by various machine learning (ML) algorithms for a variety of NLP related tasks. In the end, this survey briefly discusses the commonly used ML and DL based classifiers, evaluation metrics and the applications of these word embeddings in different NLP tasks.

연구 동기 및 목표

• 수작업 특징에서 딥러닝 기반 표현으로의 진화를 거쳐온 단어 표현 모델에 대한 체계적인 검토를 제공하기 위해.
• 고전적 방법(예: Bag-of-Words, TF-IDF)과 현대의 신경망 기반 모델(예: Word2Vec, GloVe, FastText)의 강점과 한계를 분석하기 위해.
• 동적이고 문맥에 민감한 표현을 생성하는 컨텍스트 기반 단어 임베딩(예: ELMo, CoVe, 트랜스포머 기반 모델, 예: BERT)을 검토하기 위해.
• 표준 평가 지표(정확도, 정밀도, 재현율, F1)를 사용하여 다양한 NLP 작업에서 이러한 모델의 성능을 평가하기 위해.
• 다중모odal 학습 및 대화 시스템에서 강화 학습을 통합한 미래의 표현 학습 연구 방향을 규명하기 위해.

제안 방법

• 단어 표현 기법을 고전적(예: Bag-of-Words, TF-IDF)과 딥러닝 기반 모델(예: Word2Vec, GloVe, FastText)으로 분류한다.
• Word2Vec이 연속적 Bag-of-Words 및 스킵그램 아키텍처를 통해 예측 모델(Skip-gram 및 CBOW)을 이용해 단어 벡터를 학습하는 방식을 설명한다.
• GloVe가 국소적 및 전역적 단어 공출현 통계를 통합하여 단어 임베딩을 학습하는 전역 행렬 분해 방법임을 기술한다.
• FastText의 서브워드 모델링 접근 방식을 상세히 기술하며, 문자 n-그램의 벡터 표현을 학습하여 OOV(사전 외 단어) 처리를 개선함을 설명한다.
• ELMo와 같은 컨텍스트 기반 모델이 양방향 LSTM 네트워크를 사용해 깊이 있는 컨텍스트 기반 단어 표현을 생성하는 방식을 검토한다.
• 자기주의 어텐션 메커니즘을 활용해 대규모 일반 또는 도메인 전용 코퍼스에서 사전학습을 통해 양방향 문맥을 학습하는 트랜스포머 기반 모델(예: BERT, RoBERTa)을 분석한다.

Figure 1. Text Classification Pipeline

실험 결과

연구 질문

• RQ1 NLP에서 단어 표현 모델은 수작업 특징 기반에서 딥러닝 기반 표현 학습으로 어떻게 진화해왔는가?
• RQ2 정적 단어 임베딩(예: Word2Vec, GloVe)과 컨텍스트 기반 임베딩(예: ELMo, BERT) 간의 핵심 차이점과 성능 상충 요소는 무엇인가?
• RQ3 FastText와 같은 서브워드 수준 모델은 단어 수준 모델 대비 희귀어나 OOV(사전 외어) 표현에 어떻게 기여하는가?
• RQ4 텍스트 분류 작업에서 단어 표현 모델의 성능을 평가하는 데 가장 효과적인 평가 지표(예: 정확도, F1-score)는 무엇인가?
• RQ5 다중모달 및 강화 학습 기반 NLP 시스템에서의 표현 학습 분야에서의 신규 추세와 미래 연구 방향은 무엇인가?

주요 결과

• Word2Vec, GloVe, FastText와 같은 딥러닝 기반 모델은 TF-IDF, Bag-of-Words와 같은 고전적 방법보다 텍스트 내 의미적 및 문법적 관계를 훨씬 더 잘 포착한다.
• ELMo 및 트랜스포머 기반 아키텍처(예: BERT)와 같은 컨텍스트 기반 모델은 동적이고 문맥에 민감한 단어 표현을 생성함으로써 최신 기술 수준의 성능을 달성한다.
• FastText는 서브워드 구성 요소를 모델링함으로써 희귀어나 미리 정의되지 않은 단어의 성능을 향상시켜 단어 수준 임베딩에서 흔한 OOV 문제를 줄인다.
• F1-score, 정밀도, 재현율과 같은 평가 지표는 모델 성능을 평가하는 데 일관되게 사용되며, 특히 감성 분석 및 텍스트 분류 작업에서 트랜스포머 기반 모델이 뛰어난 F1 점수를 기록한다.
• 이 검토는 대규모 레이블이 없는 데이터를 활용한 자기지도 사전학습 방식이 점점 더 널리 퍼지고 있으며, 특히 트랜스포머 기반 모델에서 이러한 방식이 다양한 NLP 응용 분야에서 일반화 능력을 향상시키는 데 기여하고 있음을 규명한다.
• 미래의 NLP 연구는 다중모달 학습 및 대화 시스템과 같은 실제 응용 분야에서 언어가 시각적 또는 감각 신호와 결합된 맥락에서 작동하는 데 초점을 맞출 것으로 기대된다.

Figure 2. An illustration of one-hot encoding and BoW models