[논문 리뷰] The Natural Language Decathlon: Multitask Learning as Question Answering

Bryan McCann, Nitish Shirish Keskar외 2명|arXiv (Cornell University)|2018. 06. 20.

Topic Modeling참고 문헌 106인용 수 339

한 줄 요약

이 논문은 10-task 다중태스크 벤치마크인 decaNLP를 질문 응답으로 재구성하고, 다중태스크 QA 모델 MQAN을 제시한다. MQAN은 다중 포인터-제너레이터 디코더를 갖춘 단일 다중태스크 QA 모델로, 다양한 태스크에서 뛰어나며 전이 학습과 제로샷 기능을 가능하게 한다.

ABSTRACT

Deep learning has improved performance on many natural language processing (NLP) tasks individually. However, general NLP models cannot emerge within a paradigm that focuses on the particularities of a single metric, dataset, and task. We introduce the Natural Language Decathlon (decaNLP), a challenge that spans ten tasks: question answering, machine translation, summarization, natural language inference, sentiment analysis, semantic role labeling, zero-shot relation extraction, goal-oriented dialogue, semantic parsing, and commonsense pronoun resolution. We cast all tasks as question answering over a context. Furthermore, we present a new Multitask Question Answering Network (MQAN) jointly learns all tasks in decaNLP without any task-specific modules or parameters in the multitask setting. MQAN shows improvements in transfer learning for machine translation and named entity recognition, domain adaptation for sentiment analysis and natural language inference, and zero-shot capabilities for text classification. We demonstrate that the MQAN's multi-pointer-generator decoder is key to this success and performance further improves with an anti-curriculum training strategy. Though designed for decaNLP, MQAN also achieves state of the art results on the WikiSQL semantic parsing task in the single-task setting. We also release code for procuring and processing data, training and evaluating models, and reproducing all experiments for decaNLP.

연구 동기 및 목표

• 맥락에 대한 질의응답으로 10개의 다양한 NLP 태스크를 재구성하여 통합된 다중태스크 벤치마크(decaNLP)를 제안한다.
• Task-specific 모듈 없이 모든 decaNLP 태스크를 공동으로 학습하는 단일 다중태스크 QA 네트워크 MQAN을 개발한다.
• decaNLP에서의 다중태스크 학습으로부터 얻은 전이 학습, 도메인 적응 및 제로샷 능력을 입증한다.
• anti-curriculum 학습이 다중태스크 성능을 추가로 향상시키고 MQAN이 시맨틱 파싱에서 강력한 단일 태스크 성과를 달성함을 보여준다.

제안 방법

• 맥락, 질문, 정답 삼중구로 구성된 QA 문제로 10개의 NLP 태스크(QA, 번역, 요약, NLI, 감정 분석, SRL, 관계 추출, 대화, 시맨틱 파싱, 대명사 해석)를 재구성한다.
• Dual coattention 인코더를 가진 MQAN을 제안하고, 컨텍스트와 질문에 함께 주의를 기울이고 외부 어휘에서 생성하거나, 컨텍스트에서 복사하거나, 질문에서 복사할 수 있는 다중 포인터-제너레이터 디코더를 제시한다.
• anti-curriculum 전략과 함께 모든 decaNLP 태스크에 대해 MQAN을 한꺼번에 학습하고 제로샷 및 전이 능력을 분석한다.
• 태스크별 지표를 decaScore(태스크당 0-100)에 매핑하고 10개 태스크에 걸쳐 종합 평가한다.
• 재현성과 리더보드 추적을 위해 오픈 소스 코드와 데이터 처리 파이프라인을 제공한다.

실험 결과

연구 질문

• RQ1 태스크별 모듈 없이 QA로 프레이밍된 10개의 다양한 NLP 태스크에서 학습된 단일 모델이 모든 태스크에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 decaNLP의 다중태스크 학습이 학습 분포를 넘어 새로운 도메인, 언어 또는 관련 태스크에 전이 학습 이점을 가져올 수 있는가?
• RQ3 복사, 생성, 질문 기반 구분이 필요한 태스크에서 다중 포인터-제너레이터 디코더가 성능에 어떻게 기여하는가?
• RQ4 커리큘럼 학습 대 반커리큘럼 학습 전략이 decaNLP 성능과 안정성에 미치는 영향은 무엇인가?

주요 결과

• MQAN은 decaNLP에서 학습한 다중태스크 설정과 단일 태스크 설정 모두에서 다수의 태스크에 대해 경쟁력 있는 성능을 달성한다.
• 다중 포인터-제너레이터 디코더는 컨텍스트와 질문에서의 효과적인 복사와 외부 어휘에서의 생성이 가능하게 하며, 이는 출력 요구가 다양한 태스크에 결정적이다.
• 반커리큘럼 학습은 완전한 공동 학습만으로 얻을 수 있는 것보다 decaNLP 성능을 향상시킨다.
• decaNLP에서 사전 학습된 MQAN은 기계 번역 및 명명 엔터티 인식에 대한 전이 이점, 감정 분석 및 자연어 추론에 대한 도메인 적응, 텍스트 분류에 대한 제로샷 능력을 보여준다.
• MQAN은 단일 태스크 설정에서 WikiSQL 시맨틱 파싱의 최첨단 결과를 달성한다.