[논문 리뷰] Dissecting Contextual Word Embeddings: Architecture and Representation

Matthew E. Peters, Mark E Neumann외 2명|arXiv (Cornell University)|2018. 08. 27.

Topic Modeling참고 문헌 47인용 수 6

한 줄 요약

이 논문은 양방향 언어 모델(biLMs)에서 다양한 신경망 아키텍처—LSTM, CNN, 및 자기주의(Transformer)—가 문맥적 단어 표현에 미치는 영향을 조사한다. 모든 아키텍처가 고품질의 계층적 언어 표현을 학습함을 발견하였으며, 하위 레이어는 형태소 및 문법을, 상위 레이어는 공호성 등 장거리 의미적 정보를 포괄함에도 불구하고, 속도와 정확도 간의 상충 관계가 존재한다.

ABSTRACT

Contextual word representations derived from pre-trained bidirectional language models (biLMs) have recently been shown to provide significant improvements to the state of the art for a wide range of NLP tasks. However, many questions remain as to how and why these models are so effective. In this paper, we present a detailed empirical study of how the choice of neural architecture (e.g. LSTM, CNN, or self attention) influences both end task accuracy and qualitative properties of the representations that are learned. We show there is a tradeoff between speed and accuracy, but all architectures learn high quality contextual representations that outperform word embeddings for four challenging NLP tasks. Additionally, all architectures learn representations that vary with network depth, from exclusively morphological based at the word embedding layer through local syntax based in the lower contextual layers to longer range semantics such coreference at the upper layers. Together, these results suggest that unsupervised biLMs, independent of architecture, are learning much more about the structure of language than previously appreciated.

연구 동기 및 목표

• biLMs에서 아키텍처 선택(LSTM, CNN, 자기주의)이 문맥적 단어 표현의 품질과 인덕티브 바이어스에 미치는 영향를 이해하는 것.
• LSTM에 비해 계산 효율성이 높은 아키텍처인 CNN 및 Transformer가 문맥 표현 학습에서 성능을 동등하거나 초월할 수 있는지 조사하는 것.
• 다양한 biLM 아키텍처에서 네트워크 레이어 간 언어 정보의 계층적 조직을 분석하는 것.
• biLM 표현이 하류 NLP 작업으로의 전이 가능성 평가, 문법 및 의미 탐색을 포함한 작업.
• biLM이 이전에 인식된 것보다 더 많은 언어적 구조(예: 문법, 의미)를 아키텍처에 관계없이 학습하는지 여부를 규명하는 것.

제안 방법

• LSTM, CNN, 및 Transformer(self-attention)의 세 가지 다른 아키텍처를 사용하여 대규모 텍스트 코퍼스에서 양방향 언어 모델(biLMs)을 사전 학습한다.
• 희귀어에 대한 일반화를 향상시키고 형태학적 특징을 포착하기 위해 입력 토큰에 문자 기반 인코딩을 사용한다.
• 하류 탐색 작업을 위해 각 biLM 아키텍처의 모든 레이어에서 내부 레이어 활성화(컨텍스트 벡터)를 추출하고 분석한다.
• 선형 분류기를 사용한 내재적 탐색을 통해 특정 언어적 특징(예: 형태학, 문법, 공호성)이 특정 레이어에 인코딩되어 있는지 평가한다.
• biLM 표현을 네 가지 벤치마크 NLP 작업에 전이한다: 명명된 실체 인식(NER), 다단계 자연어 추론(MultiNLI), 의존성 파싱, 구성성 파싱.
• 레이어별 선형 탐색을 사용하여 하류 작업 성능에 가장 기여하는 레이어를 특정하고 각 레이어의 功能 특수화 정도를 평가한다.

실험 결과

연구 질문

• RQ1 biLMs에서 사용되는 다양한 신경망 아키텍처(LSTM, CNN, Transformer) 간 최종 작업 정확도와 추론 속도를 비교할 때 어떤가?
• RQ2 RNN이 아닌 아키텍처인 CNN 및 Transformer가 LSTM과 동등하거나 뛰어난 수준의 고품질 문맥 표현을 학습하는가?
• RQ3 biLM의 레이어 간 언어 정보에 계층적 조직이 존재하는가? 만약 존재한다면 아키텍처에 따라 어떻게 다를까?
• RQ4 biLM의 어느 레이어가 하류 NLP 작업으로 전이하기에 가장 효과적인가? 그리고 그 레이어는 어떤 언어적 특징을 인코딩하는가?
• RQ5 biLM가 아키텍처에 관계없이 이전에 인식된 것보다 더 많은 언어적 구조(예: 문법, 의미)를 학습하는가?

주요 결과

• LSTM, CNN, 및 Transformer의 세 아키텍처 모두 네 가지 벤치마크 NLP 작업에서 전통적인 워드 임베딩보다 유의미한 성능 향상을 보였으며, 속도와 정확도 간의 미미한 상충 관계 외에는 큰 차이가 없었다.
• 모든 biLM의 워드 임베딩 레이어는 형태학적 특징에만 집중하며, 의미적 내용은 포함하지 않는다.
• 하위 컨텍스트 레이어(예: 첫 번째 몇 레이어)는 품사 및 의존관계와 같은 국소적 문법적 특징을 인코딩한다.
• 상위 레이어는 문장 내 대명사 공호성 및 의미 역할 레이블링과 같은 장거리 의미적 의존성을 포괄한다.
• 하류 작업으로 전이하기에 가장 효과적인 표현은 일반적으로 상단 레이어가 아니라 중간 레이어에서 발견되며, 상단 레이어는 언어 모델링 전용으로 특수화되어 있다.
• biLM 활성화는 구성성 파싱과 같은 문법적 작업에 유용한 구문 수준 표현을 형성하는 데 효과적으로 사용될 수 있다.