[논문 리뷰] Meta Multi-Task Learning for Sequence Modeling

Junkun Chen, Xipeng Qiu외 2명|arXiv (Cornell University)|2018. 02. 25.

Topic Modeling인용 수 26

한 줄 요약

이 논문은 시퀀스 모델링을 위한 메타 다중작업 학습 프레임워크를 제안하며, 공유된 메타넷워크를 사용해 작업별 조합 함수의 파라미터를 동적으로 생성함으로써 작업 간 기능 수준의 지식 공유를 가능하게 한다. 이 방법은 문맥 및 작업에 따라 특화된 조합 함수를 허용하여 텍스트 분류 및 시퀀스 태깅에서 성능을 향상시키며, 실험 결과 기준선 대비 일관된 성능 향상과 새로운 작업으로의 강력한 전이 가능성(transferability)을 보여준다.

ABSTRACT

Semantic composition functions have been playing a pivotal role in neural representation learning of text sequences. In spite of their success, most existing models suffer from the underfitting problem: they use the same shared compositional function on all the positions in the sequence, thereby lacking expressive power due to incapacity to capture the richness of compositionality. Besides, the composition functions of different tasks are independent and learned from scratch. In this paper, we propose a new sharing scheme of composition function across multiple tasks. Specifically, we use a shared meta-network to capture the meta-knowledge of semantic composition and generate the parameters of the task-specific semantic composition models. We conduct extensive experiments on two types of tasks, text classification and sequence tagging, which demonstrate the benefits of our approach. Besides, we show that the shared meta-knowledge learned by our proposed model can be regarded as off-the-shelf knowledge and easily transferred to new tasks.

연구 동기 및 목표

• 모든 시퀀스 위치에서 동일한 공유 조합 함수를 사용하는 기존 시퀀스 모델의 과소적합 문제를 해결하기 위해.
• 시의적합한 의미 조합의 공유 메타지식을 학습하여 다수의 자연어 처리 작업 간 지식 공유를 가능하게 하기 위해.
• 작업별 및 위치별 조합 함수를 생성하는 기능 수준의 공유 메커니즘을 설계하여 표현 능력을 향상시키기 위해.
• 학습된 메타넷워크를 새로운 작업에 대한 재사용 가능한 사전 지식로 간주함으로써 효율적인 전이 학습을 가능하게 하기 위해.
• 제안된 방법이 텍스트 분류 및 시퀀스 태깅 작업 양쪽 모두에서 효과적인지 입증하기 위해.

제안 방법

• 메타넷워크(Meta-LSTM)는 현재의 문맥에 기반해 작업별 조합 함수의 파라미터를 생성하도록 훈련된다.
• 메타넷워크는 다수의 작업을 통해 의미 조합의 메타지식을 캡처하며, 동적 파라미터 생성을 가능하게 한다.
• 기본 네트워크(LSTM)는 메타넷워크에 의해 생성된 문맥 의존적 파라미터를 사용하여, 작업별 및 위치별 조합 함수를 만든다.
• 모델은 백프로파게이션을 사용해 엔드 투 엔드로 훈련되며, 표현력은 유지하면서 파라미터 복잡도를 줄이기 위해 저랭크 근사가 사용된다.
• 시퀀스 태깅 작업에는 조건부 랜덤 필드(CRF)가 출력층으로 사용된다.
• 프레임워크는 단일작업 및 다중작업 학습을 모두 지원하며, 공유된 메타지식이 작업 간 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 공유된 메타넷워크는 다수의 자연어 처리 작업 간 의미 조합의 메타지식을 효과적으로 캡처하고 전이할 수 있는가?
• RQ2 메타넷워크가 작업별 조합 함수의 파라미터를 생성하는 기능 수준의 공유가 특징 수준의 공유보다 모델 성능 향상에 기여하는가?
• RQ3 학습된 메타넷워크는 새로운, 알려지지 않은 작업에서 효율적인 전이 학습을 위한 사전 지식으로 사용될 수 있는가?
• RQ4 기존의 다중작업 학습 기준선 대비 정확도와 파라미터 효율성 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ5 문맥 의존적 파라미터 생성은 시퀀스 내 복잡한 의미 조합을 포착하는 데 모델 능력을 얼마나 향상시키는가?

주요 결과

• Meta-LSTM 모델은 CoNLL2000 퍼지닝 작업에서 95.11%의 정확도를 기록하여 최고의 기준선(LSTM-SSP-MTL+CRF, 94.32%)을 초월했다.
• CoNLL2003 NER 작업에서 Meta-LSTM-MTL+CRF 모델은 90.72%의 F1 스코어를 기록하여 단일작업 Meta-LSTM(90.08%) 및 기타 기준선을 모두 뛰어넘었다.
• WSJ POS 태깅 작업에서 모델은 97.45%의 정확도로 향상되었으며, 단일작업 Meta-LSTM(97.30%) 및 모든 비교 모델을 초월했다.
• 제안된 기능 수준의 공유 메커니즘이 더 적은 파라미터로도 SSP-MTL 및 PSP-MTL과 같은 특징 수준의 공유 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 다양한 작업에서 학습된 메타넷워크는 새로운 작업으로 직접 전이되어 사전 지식으로 사용될 수 있었으며, 강력한 전이 가능성과 일반화 능력을 입증했다.
• 모델의 성능 향상은 텍스트 분류 및 시퀀스 태깅 작업 모두에서 일관되게 관찰되었으며, 이는 그 견고성과 광범위한 적용 가능성의 타당성을 검증한다.