[논문 리뷰] Recent Trends in Deep Learning Based Natural Language Processing

Tom Young, Devamanyu Hazarika외 2명|arXiv (Cornell University)|2017. 08. 09.

Topic Modeling참고 문헌 156인용 수 1,254

한 줄 요약

이 설문은 단어 임베딩, CNN, RNN, 맥락화 임베딩, 주의(attention), 메모리, 강화 학습, 비지도 접근법 등을 포함한 NLP용 주요 딥 러닝 모델과 방법을 검토하고, 그 진화와 향후 방향을 개요합니다.

ABSTRACT

Deep learning methods employ multiple processing layers to learn hierarchical representations of data and have produced state-of-the-art results in many domains. Recently, a variety of model designs and methods have blossomed in the context of natural language processing (NLP). In this paper, we review significant deep learning related models and methods that have been employed for numerous NLP tasks and provide a walk-through of their evolution. We also summarize, compare and contrast the various models and put forward a detailed understanding of the past, present and future of deep learning in NLP.

연구 동기 및 목표

• 수작업으로 설계된 특징과 고차원 희소 표현의 한계를 부각시켜 NLP에서 얕은 모델에서 딥 러닝으로의 전환을 촉진한다.
• 분산 표현과 이것이 다양한 NLP 태스크의 성능에 미친 영향을 요약한다.
• 주요 DL 구조(CNN, RNN, 재귀적 신경망)와 이들의 NLP 응용, 메모리 및 주의 메커니즘을 포함하여 검토한다.
• 비지도 사전학습, 맥락화 임베딩, NLP 태스크를 위한 전이 학습의 최근 트렌드를 논의한다.
• 이러한 추세가 NLP 연구와 실무의 미래를 어떻게 형성하는지에 대한 전망을 제시한다.

제안 방법

• 분산 표현 패러다임과 단어 임베딩의 기초를 설명한다.
• Word2Vec(CBOW와 Skip-gram)과 그것이 의미 유사도 및 구성성에 미친 영향을 설명한다.
• 형태소가 풍부한 언어 및 OOV 처리에 대한 문자 임베딩과 그 이점을 논의한다.
• 맥락화 임베딩(ELMo)을 소개하고 전역 표현에서 맥락 민감한 단어 표현으로의 전환을 다룬다.
• 사전 학습된 언어 모델과 전이 학습(OpenAI-GPT, BERT)의 요약과 그 하류 태스크에 대한 영향.
• 다양한 NLP 태스크를 위한 CNN, RNN 및 재귀적 아키텍처를 검토하고 주의(attention) 및 메모리 증강 방식의 진화를 다룬다.

실험 결과

연구 질문

• RQ1 NLP 태스크를 형성해온 주요 딥 러닝 모델과 아키텍처는 무엇인가?
• RQ2 맥락화 임베딩과 사전 학습된 언어 모델이 NLP의 성능과 전이 학습에 어떤 영향을 미쳤는가?
• RQ3 다양한 NLP 태스크에서 CNN, RNN, 재귀 네트워크의 이점과 한계는 무엇인가?
• RQ4 현 DL 트렌드가 제시하는 향후 방향과 남은 과제는 무엇인가?

주요 결과

• 단어 임베딩(Word2Vec, GloVe)은 많은 NLP 태스크의 기초가 되는 분산 표현을 확립했다.
• 맥락화 임베딩(ELMo, 이후 BERT/트랜스포머)은 문장 및 태스크 특화 표현을 제공하여 성능을 향상시킨다.
• CNN은 문장 모델링 및 다양한 NLP 태스크를 위한 효과적인 n-그램 특징 추출을 선도했다.
• RNN 및 변형(LSTM, GRU)은 언어 데이터의 순차적 의존성 모델링을 가능하게 한다.
• 사전 학습된 언어 모델과 전이 학습(OpenAI-GPT, BERT)은 다양한 NLP 태스크에 대한 비지도 사전 학습 및 미세 조정을 가능하게 한다.
• 본 설문은 메모리 증강 모델, 주의 메커니즘, 강화 학습 및 비지도 문장 표현 학습을 중요한 트렌드로 강조한다.