[논문 리뷰] Natural Language Processing Advancements By Deep Learning: A Survey

Amirsina Torfi, Rouzbeh A. Shirvani외 3명|arXiv (Cornell University)|2020. 03. 02.

Topic Modeling참고 문헌 222인용 수 197

한 줄 요약

심층 학습이 NLP를 어떻게 변화시켰는지에 관한 고찰입니다. 핵심 작업, 아키텍처, 표현, seq2seq 모델, RL 접근법, 데이터셋, 벤치마크를 다루고, 도전 과제와 미해결 문제에 대한 논의를 포함합니다.

ABSTRACT

Natural Language Processing (NLP) helps empower intelligent machines by enhancing a better understanding of the human language for linguistic-based human-computer communication. Recent developments in computational power and the advent of large amounts of linguistic data have heightened the need and demand for automating semantic analysis using data-driven approaches. The utilization of data-driven strategies is pervasive now due to the significant improvements demonstrated through the usage of deep learning methods in areas such as Computer Vision, Automatic Speech Recognition, and in particular, NLP. This survey categorizes and addresses the different aspects and applications of NLP that have benefited from deep learning. It covers core NLP tasks and applications and describes how deep learning methods and models advance these areas. We further analyze and compare different approaches and state-of-the-art models.

연구 동기 및 목표

• NLP에서의 심층 학습의 역할을 조사하고 언어 작업에 DL이 왜 효과적인지 동기를 부여합니다.
• 필수 DL 아키텍처들(MLP, CNN, RNN/LSTM, 오토인코더, GANs)과 그들의 NLP 응용을 요약합니다.
• 핵심 NLP 개념: 특징 표현, 시퀀스-투-시퀀스 모델, 평가 방법을 설명합니다.
• DL-NLP 연구에서 사용되는 벤치마크 NLP 데이터 세트와 일반적인 평가 지표를 카탈로그합니다.
• NLP 과제 전반에 걸친 응용을 논의하고 영역의 도전 과제, 기회 및 미해결 문제를 강조합니다.

제안 방법

• NLP에서 사용되는 심층 학습 아키텍처를 검토하고 분류합니다(MLP, CNN, RNN/LSTM, 오토인코더, GANs).
• 시퀀스-투-시퀀스 인코더–디코더 프레임워크를 설명하고 교차 엔트로피 손실과 교사 강제(teacher forcing)로의 학습을 다룹니다.
• 정책 기울기(policy gradient), 액터–크리틱, 노출 편향 문제를 포함한 NLP에 대한 강화 학습 접근법을 논의합니다.
• 특징 표현(one-hot, CBOW/단어 임베딩, 문자 수준 임베딩) 및 단어/문서 표현(PV/Doc2Vec, skip-thought)을 설명합니다.
• NLP 연구에서 사용되는 벤치마크 데이터 세트와 평가 지표(ROUGE, BLEU, METEOR)를 요약합니다.
• DL이 상당한 성과를 거둔 NLP 과제에 대한 조사를 제시하고 미해결 문제를 개괄합니다.

실험 결과

연구 질문

• RQ1 딥 러닝 아키텍처가 핵심 NLP 작업(예: 태깅, NER, SRL, MT, 요약)을 어떻게 향상시키나요?
• RQ2 NLP에서 시퀀스-투-시퀀스 모델의 이점과 한계는 무엇이며 학습을 어떻게 개선할 수 있을까요?
• RQ3 표현 및 임베딩이 작업 전반에서 DL 기반 NLP 성능에 어떤 역할을 합니까?
• RQ4 DL-NLP 발전을 이끄는 주된 벤치마크 데이터 세트와 평가 지표는 무엇입니까?
• RQ5 딥 러닝을 NLP에 적용하는 데 남아 있는 미해결 과제와 향후 기회는 어디에 있나요?

주요 결과

• 딥 러닝은 데이터 기반 표현을 가능하게 하여 많은 NLP 작업에서 전통적인 수작업 특징을 능가할 수 있습니다.
• 인코더–디코더 구조를 갖춘 시퀀스-투-시퀀스 모델은 MT, 요약 및 다른 시퀀스 작업의 핵심이며 디코딩 시 교차 엔트로피 손실과 빔 탐색이 일반적입니다.
• 문자 수준 및 서브워드 임베딩은 OOV 이슈를 해결하고 NLP 응용에서 강건성을 향상시키는 데 도움이 됩니다.
• 강화 학습 접근법(예: 정책 기울기, 액터–크리틱)은 노출 편향 및 목적 함수 불일치를 해결하지만 큰 행동 공간으로 인해 학습 도전에 직면합니다.
• 광범위한 벤치마크 데이터 세트와 평가 지표(예: ROUGE, BLEU, METEOR)가 DL-NLP 연구와 벤치마킹의 기반이 됩니다.
• 본 조사는 데이터 표현, 모델 아키텍처, 평가 등을 포함한 NLP를 위한 DL의 지속적인 도전과 유망한 방향을 조명합니다.