[논문 리뷰] A Survey On Neural Word Embeddings

Erhan Sezerer, Selma Tekır|arXiv (Cornell University)|2021. 10. 05.

Topic Modeling참고 문헌 139인용 수 5

한 줄 요약

이 종합 검토는 Word2Vec와 GloVe와 같은 초기 정적 임베딩에서 BERT와 RoBERTa와 같은 고급 문맥 기반 모델로의 진화를 따라가며 신경망 단어 임베딩에 대한 종합적인 검토를 제공한다. 신경망 언어 모델링이 문법적 및 의미적 규칙성을 포착하는 분산 표현을 가능하게 하여 자연어 처리(NLP) 작업 전반에서 성능을 크게 향상시키며, 최신 기준 모델들은 GLUE와 SQuAD와 같은 벤치마크에서 인간 수준의 성능을 달성한다.

ABSTRACT

Understanding human language has been a sub-challenge on the way of intelligent machines. The study of meaning in natural language processing (NLP) relies on the distributional hypothesis where language elements get meaning from the words that co-occur within contexts. The revolutionary idea of distributed representation for a concept is close to the working of a human mind in that the meaning of a word is spread across several neurons, and a loss of activation will only slightly affect the memory retrieval process. Neural word embeddings transformed the whole field of NLP by introducing substantial improvements in all NLP tasks. In this survey, we provide a comprehensive literature review on neural word embeddings. We give theoretical foundations and describe existing work by an interplay between word embeddings and language modelling. We provide broad coverage on neural word embeddings, including early word embeddings, embeddings targeting specific semantic relations, sense embeddings, morpheme embeddings, and finally, contextual representations. Finally, we describe benchmark datasets in word embeddings' performance evaluation and downstream tasks along with the performance results of/due to word embeddings.

연구 동기 및 목표

• 신경망 단어 임베딩과 그 이론적 기초에 대한 체계적인 문헌 검토를 제공하는 것.
• 정적 표현에서 문맥 기반 표현으로의 단어 임베딩의 진화를 분석하고 핵심 발전 사항을 부각하는 것.
• GLUE와 SQuAD와 같은 표준 벤치마크 데이터셋과 하류 NLP 작업에서의 성능 평가를 수행하는 것.
• 의미 인식형, 형태소 기반, 지식 기반 임베딩과 같은 전문화된 확장 기법을 검토하는 것.
• BERT와 RoBERTa와 같은 문맥 기반 모델이 의미 표현 학습의 현재 표준으로 자리매김하는 것을 위치시키는 것.

제안 방법

• 분포 가설과 신경망 내 분산 표현에 관한 기초적 연구를 조사하는 것.
• 단어 임베딩 모델을 카테고리로 분류하는 것: 초기 정적 임베딩(예: Skip-Gram, GloVe), 관계 특화 임베딩, 의미 임베딩, 형태소 임베딩, 문맥 기반 표현.
• 다음 단어의 맥락을 예측하기 위해 설계된 신경망 언어 모델의 아키텍처를 분석하여 역전파를 통해 단어 표현을 학습하는 방식을 설명하는 것.
• GLUE, SQuAD, SQuAD 2.0와 같은 표준 벤치마크에서 F1, 정확도, 상관계수(ρ) 등의 지표를 사용해 모델을 평가하는 것.
• TOEFL, ESL-50, MRPC와 같은 데이터셋에서 일관된 평가 프rotocol를 사용해 모델 간 성능을 비교하는 것.
• 변환기와 마스킹 언어 모델링을 통해 고정된, 맥락에 의존하지 않는 임베딩에서 동적이고 맥락 인식형 표현으로의 전환을 부각하는 것.

실험 결과

연구 질문

• RQ1 신경망 단어 임베딩은 의미적 및 문법적 규칙성을 포착하는 데 있어 전통적인 카운트 기반 및 백오브워즈 표현 방식보다 어떻게 향상되는가?
• RQ2 정적 임베딩에서 문맥 기반 임베딩으로의 전환을 가능하게 한 핵심 아키텍처 및 학습 혁신은 무엇인가?
• RQ3 의미 인식형, 형태소 기반, 지식 기반 임베딩과 같은 다양한 임베딩 유형이 의미 관계 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 미리 학습된 문맥 기반 모델인 BERT와 RoBERTa가 다양한 NLP 벤치마크에서 최고 성능을 달성하는 이유는 무엇인가?
• RQ5 다중 모odal 및 경험 기반 정보는 의미 표현 학습의 미래에서 어떤 역할을 할 것인가?

주요 결과

• BERT와 RoBERTa는 각각 SQuAD 2.0에서 89.1%와 89.8%의 F1 점수를 기록하여 인간 수준의 성능에 근접했다.
• GLUE 벤치마크에서 RoBERTa(앙상블)는 MNLI에서 90.8/90.2점을 기록했고, RACE에서 F1 점수 92.2를 달성하여 이전 모델들을 압도했다.
• XLNet(앙상블)은 MNLI에서 98.6%의 정확도와 WNLI에서 91.8%의 성능을 기록하여 다양한 작업 간 일반화 능력이 뛰어났다.
• BERT는 SST-2에서 F1 점수 94.9%, MRPC에서 89.3%를 기록하여 이전 모델들인 CBOW와 BiLSTM를 크게 앞섰다.
• Skip-Gram(94.9% on SST-2)과 BERT(83.7% on TOEFL-80) 간의 성능 격차는 맥락 인식 표현의 영향을 잘 보여준다.
• ALBERT와 ERNIE 2.0는 각각 MNLI에서 95.3%와 94.6%의 성능을 기록하여 파rameter 효율적이고 사전 학습 전략의 효과를 입증했다.