[논문 리뷰] A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks

Kazuma Hashimoto, Caiming Xiong외 2명|arXiv (Cornell University)|2016. 11. 05.

Topic Modeling참고 문헌 40인용 수 52

한 줄 요약

이 논문은 여러 NLP 작업—품사 태깅, 추출, 의존성 파싱, 의미적 유사성, 텍스트 함의—을 깊이가 점차 증가하는 방식으로 스택하여, 낮은 층에서 높은 층으로의 언어학적 계층을 활용하고 단층 연결을 통해 정보를 전달함으로써 단일 딥 네ural 네트워크로 다수의 NLP 작업을 동시에 수행할 수 있도록 하는 공동 다중작업(JMT) 모델을 제안한다. 이 모델은 적응형 정규화와 점진적인 깊이 증가 전략을 사용하여 치명적인 간섭을 방지하며, 모든 다섯 가지 작업에서 최신 기술 수준(SOTA) 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Transfer and multi-task learning have traditionally focused on either a single source-target pair or very few, similar tasks. Ideally, the linguistic levels of morphology, syntax and semantics would benefit each other by being trained in a single model. We introduce a joint many-task model together with a strategy for successively growing its depth to solve increasingly complex tasks. Higher layers include shortcut connections to lower-level task predictions to reflect linguistic hierarchies. We use a simple regularization term to allow for optimizing all model weights to improve one task's loss without exhibiting catastrophic interference of the other tasks. Our single end-to-end model obtains state-of-the-art or competitive results on five different tasks from tagging, parsing, relatedness, and entailment tasks.

연구 동기 및 목표

• 기존의 다중작업 학습이 일반적으로 소수 또는 유사한 작업에 집중하는 데 한계가 있음을 고려하여, 단일 모델이 다양한 NLP 작업을 공동으로 학습할 수 있도록 하는 것.
• 다양한 NLP 작업을 공동으로 학습할 때 발생하는 치명적인 간섭을 해결하기 위해, 한 작업의 손실 최적화를 수행하되 다른 작업의 성능이 저하되지 않도록 보장하는 정규화 전략을 도입하는 것.
• 낮은 수준의 작업(예: 품사 태깅)이 높은 수준의 작업(예: 의존성 파싱, 함의)에 영향을 주는 언어학적 계층을 고려하여, 점차 깊어지는 층 구조로 모델을 구성하는 것.
• 모든 작업을 동일한 층에서 학습하는 것보다 다양한 깊이에서 작업을 모델링할 경우, 계층적인 언어학적 종속성을 더 잘 포착함으로써 성능 향상이 이루어지는지 확인하는 것.

제안 방법

• 모델는 깊이가 점차 증가하는 순서로 복수의 복수의 작업을 처리하기 위해 깊은 양방향 LSTM 아키텍처를 사용한다: 품사 태깅(1층), 추출(2층), 의존성 파싱(3층), 의미적 유사성(4층), 텍스트 함의(5층).
• 각 단어는 사전 학습된 단어 임베딩과 문자 n-그램 임베딩의 연결을 통해 표현되며, 문자 n-그램은 스킵그램을 통해 학습되고 평균화되어 단어 수준의 특징 표현을 형성한다.
• 낮은 수준의 예측(예: 품사 태그)은 가중치가 부여된 레이블 임베딩으로 표현되어 고수준 층에 보조 입력으로 제공되어 언어학적 계층을 유지하고 일반화 성능을 향상시킨다.
• 낮은 층의 은닉 상태와 예측 값에서 고수준 층으로의 단층 연결을 사용하여 저수준 언어학적 특징을 유지하고 전파한다.
• 학습 중에 특정 작업의 손실 최적화를 수행하되 다른 작업의 성능이 저하되지 않도록 보장하기 위해 정규화 항을 적용한다. 이는 치명적인 간섭을 완화한다.
• 학습은 커리큘럼 학습 전략을 사용하여 종단 간(end-to-end)으로 수행되며, 작업들은 언어학적 복잡도 기반으로 고정된 순서로 학습되고, 모든 작업에 동일한 학습률 감소 전략이 적용된다.

실험 결과

연구 질문

• RQ1 치명적인 간섭을 방지하면서도 다양한 NLP 작업을 단일 딥 네ural 네트워크가 공동으로 학습할 수 있는가?
• RQ2 낮은 수준의 예측이 높은 수준의 작업에 영향을 주는 깊이 증가 계층으로 구성된 모델이, 모든 작업을 동일한 층에서 학습하는 것보다 성능 향상에 기여하는가?
• RQ3 낮은 수준의 예측에서 유도된 가중치가 부여된 레이블 임베딩이 고수준 작업의 성능 향상에 얼마나 효과적인가?
• RQ4 점진적인 깊이 증가와 정규화 전략이 데이터 크기와 복잡도가 다른 작업들 간의 다중작업 일반화 성능 향상에 얼마나 기여하는가?
• RQ5 매우 다른 학습 데이터 스케일(예: 의존성 파싱은 39,000개 문장, 함의는 4,500개 문장 쌍)을 가진 작업들을 공동으로 학습해도 모든 작업에서 우수한 성능를 달성할 수 있는가?

주요 결과

• JMT 모델은 추출 작업에서 95.65% F1, 의존성 파싱에서 94.12% UAS의 최신 기술 수준(SOTA) 성능를 기록하였으며, 의미적 유사성과 텍스트 함의 작업에서도 경쟁 가능한 결과를 달성하였다.
• 모델는 품사 태깅에서 97.52%의 정확도를 기록하였으며, 문자 n-그램 임베딩을 사전 학습하지 않은 경우 97.38%로 떨어지며, 이는 형태학적 특징의 중요성을 입증한다.
• 학습 중에 작업 순서를 무작위로 변경하면 의미 작업의 성능이 크게 저하되며, 이는 고정된 계층적 순서가 모델의 효과성에 핵심적임을 확인한다.
• JMT의 깊이와 동일한 깊이를 가진 단일 작업용 다층 양방향 LSTM을 사용한 경우, 공동 학습 모델에 비해 성능이 열등하여, 공동 학습이 단순히 모델 깊이 증가보다 더 효과적임을 시사한다.
• 단어 임베딩과 문자 n-그램 임베딩을 함께 사용할 경우 모든 작업에서 성능 향상이 이루어지며, 특히 품사 태깅과 추출 작업에서 가장 큰 향상이 관찰되었다.
• 의미적 작업(유사성 및 함의)의 성능은 관련성 작업을 먼저 학습한 후에 향상되며, 이는 공유된 의미적 표현이 존재한다는 가설을 뒷받침한다.