[논문 리뷰] A Survey on Contextual Embeddings

Qi Liu, Matt J. Kusner외 4명|arXiv (Cornell University)|2020. 03. 16.

Topic Modeling참고 문헌 77인용 수 114

한 줄 요약

이 종합적 서베이는 언어 모델링을 통한 사전 훈련, 다국어 적응, 하류 NLP 작업 응용, 모델 압축 기법, 이러한 표현에 포함된 언어 지식의 분석을 포함해 맥락 기반 임베딩에 대한 종합적인 개요를 제공한다. BERT, RoBERTa, ELECTRA와 같은 최신 모델을 강조하며, 해석 가능성, 내구성, 제어된 생성과 관련된 주요 과제를 밝혀낸다.

ABSTRACT

Contextual embeddings, such as ELMo and BERT, move beyond global word representations like Word2Vec and achieve ground-breaking performance on a wide range of natural language processing tasks. Contextual embeddings assign each word a representation based on its context, thereby capturing uses of words across varied contexts and encoding knowledge that transfers across languages. In this survey, we review existing contextual embedding models, cross-lingual polyglot pre-training, the application of contextual embeddings in downstream tasks, model compression, and model analyses.

연구 동기 및 목표

• 맥락 기반 임베딩 모델과 그 NLP 내 진화 과정에 대한 종합적 리뷰 제공.
• 맥락 기반 임베딩을 위한 사전 훈련 방법(비지도 및 지도 학습 접근법 포함) 분석.
• 맥락 기반 임베딩이 언어 및 작업 간 지식을 어떻게 전이하는지 분석.
• 대규모 모델의 효율적이고 경량 버전을 구현하기 위한 모델 압축 기법 평가.
• 프로브 및 시각화를 통해 맥락 기반 표현에 포함된 언어 지식 탐구.

제안 방법

• 아키텍처(예: LSTM, Transformer) 및 사전 훈련 목표(예: 언어 모델링, 마스킹 언어 모델링)에 따라 맥락 기반 임베딩 모델을 분류.
• 좌측에서 우측 및 양방향 언어 모델링을 통한 비지도 사전 훈련을 검토하며, ELMo, GPT, BERT 등의 모델 포함.
• 마스킹 언어 모델링(MLM), 다음 문장 예측(NSP), 텍스트 복구 등의 목표를 사용한 다국어 사전 훈련 기술술술.
• 큰 교사 모델에서 작은 학생 모델로 지식을 전이하는 DistilBERT, TinyBERT 등의 지식 정규화 기반 압축 방법 상세 기술.
• 지식 정규화 및 양자화(예: Q-BERT)를 적용해 모델 크기와 추론 비용을 감소.
• 프로브 분류기 및 시각화 기법(예: 어텐션 맵, 손실 표면)을 활용해 표현에 포함된 언어 지식 분석.

실험 결과

연구 질문

• RQ1 맥락 기반 임베딩은 정적 워드 임베딩에 비해 다의어성과 맥락에 따라 변하는 단어 의미를 어떻게 더 효과적으로 포착하는가?
• RQ2 어떤 사전 훈련 목표가 다양한 NLP 작업 간에 가장 효과적이고 전이 가능한 맥락 기반 표현을 이끌어내는가?
• RQ3 사전 훈련된 모델이 문법적 및 의미적 지식을 어느 정도 포함하고 있으며, 이를 신뢰성 있게 측정할 수 있는가?
• RQ4 실제 구현을 위해 성능 손실 없이 대규모 맥락 기반 임베딩 모델을 어떻게 압축할 수 있는가?
• RQ5 현재 맥락 기반 임베딩 모델의 주요 취약점과 한계는 무엇이며, 특히 내구성과 제어 가능성 측면에서 어떻게 드러나는가?

주요 결과

• BERT 및 RoBERTa와 같은 맥락 기반 임베딩은 텍스트 분류, 질의 응답, 요약 등 다양한 NLP 작업에서 최신 성능 기록을 달성한다.
• 프로브 연구 결과 BERT는 계층적으로 언어 구조를 학습한다 — 초기 레이어에서 품사 태깅 및 문법 분석, 깊은 레이어에서 공명 및 의미 역할 분석.
• DistilBERT는 GLUE 벤치마크에서 BERT의 약 97% 성능을 달성하면서도 파rameter 수를 60% 감소시켜 효과적인 지식 정규화를 입증한다.
• 어텐션 헤드의 시각화 결과 BERT에는 높은 중복성이 존재하며, 일부 헤드를 비활성화하면 전체 모델보다 성능 향상이 가능하다.
• BERT의 표현은 저차원 부분공간에 세밀한 어휘 의미를 포함하고 있어 높은 표현 능력을 지닌다.
• 강력한 성능에도 불구하고, 프로브 분석은 언어 지식이 진정으로 인코딩되어 있는지 아니면 높은 차원의 데이터에 기인한 것인지 식별하기 어려운 경우가 많다.