[논문 리뷰] Multi-task Multi-domain Representation Learning for Sequence Tagging.

Nanyun Peng, Mark Dredze|arXiv (Cornell University)|2016. 08. 09.

Topic Modeling인용 수 26

한 줄 요약

이 논문은 시퀀스 태깅을 위한 통합적인 다중 작업, 다중 도메인 표현 학습 프레임워크를 제안하며, 공유 CRF와 도메인별 전이를 활용하여 다양한 작업(중국어 어절 분할 및 명명된 실체 인식)과 도메인(뉴스 및 소셜 미디어) 간에 강력하고 이식 가능한 표현을 학습한다. 이는 도메인 이동을 효과적으로 모델링하면서도 작업별 태깅 정확도를 유지함으로써 소셜 미디어 작업에서 최고 성능을 달성한다.

ABSTRACT

Representation learning with deep models have demonstrated success in a range of NLP. In this paper we consider its use in a multi-task multi-domain setting for sequence tagging by proposing a unified framework for learning across tasks and domains. Our model learns robust representations that yield better performance in this setting. We use shared CRFs and domain projections to allow the model to learn domain specific representations that can feed a single task specific CRF. We evaluate our model on two tasks -- Chinese word segmentation and named entity recognition -- and two domains -- news and social media -- and achieve state-of-the-art results for both social media tasks.

연구 동기 및 목표

• 다양한 도메인 간 도메인 이동 문제를 해결하기 위해 여러 도메인 간 강력하고 공유되는 표현을 학습함으로써.
• 관련된 NLP 작업 간 다중 작업 학습을 활용하여 자원이 적은 도메인(특히 소셜 미디어)의 성능을 향상시키기 위해.
• 작업별 태깅과 도메인 불변 표현 학습을 동시에 최적화하는 통합 프레임워크를 설계하기 위해.
• 공유 및 도메인별 구성 요소를 통해 고자원 도메인(예: 뉴스)에서 저자원 도메인(예: 소셜 미디어)으로 지식을 효과적으로 전이할 수 있도록 하기 위해.
• 단일 통합 아키텍처를 사용하여 다양한 도메인과 작업에서 시퀀스 태깅 성능을 최고 수준으로 달성하기 위해.

제안 방법

• 모델은 모든 작업과 도메인 간 일반적인 문맥 표현을 학습하기 위해 공유 인코더를 사용한다.
• 공유 표현에 도메인별 전이를 적용하여 각 도메인의 고유한 특성(예: 뉴스 대비 소셜 미디어)에 적응시킨다.
• 디코딩을 위해 단일 작업별 CRF를 사용하고, 도메인 및 작업 간 레이블 의존성을 모델링하기 위해 공유 CRF를 활용한다.
• 엔드 투 엔드 훈련을 통해 시퀀스 태깅 목표와 도메인 적응을 동시에 최적화한다.
• 모델은 작업 간 파라미터 공유를 가능하게 하면서도 전용 전이 레이어를 통해 도메인 특화된 불변성을 유지한다.
• 모델은 두 가지 작업—중국어 어절 분할과 명명된 실체 인식—을 두 도메인(뉴스 및 소셜 미디어)에서 훈련한다.

실험 결과

연구 질문

• RQ1 통합 모델이 다양한 NLP 작업과 도메인 간에 공유 표현을 효과적으로 학습하면서도 각 작업에서 높은 성능을 유지할 수 있는가?
• RQ2 도메인별 전이가 시퀀스 태깅에서 자원이 적은 도메인(예: 소셜 미디어)의 성능을 어떻게 향상시키는가?
• RQ3 공유 CRF를 사용한 다중 작업 학습이 도메인과 작업 간 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크가 고자원 및 저자원 도메인 모두에서 기존 방법보다 시퀀스 태깅 벤치마크에서 뛰어난 성능을 내는가?
• RQ5 공유 및 도메인별 구성 요소가 교차 도메인 시퀀스 태깅에서 강건성을 향상시키기 위해 어떻게 상호작용하는가?

주요 결과

• 제안된 모델은 소셜 미디어 도메인에서 중국어 어절 분할 및 명명된 실체 인식 작업 모두에서 최고 성능을 달성한다.
• 모델은 일반적으로 더 노이지하고 OOV(어휘 외 단어)가 많은 뉴스에 비해 소셜 미디어 데이터에서 성능을 크게 향상시킨다.
• 도메인별 전이의 사용은 작업별 태깅 품질을 희생시키지 않으면서도 도메인 특화된 언어 패턴에 더 잘 적응할 수 있도록 한다.
• 공유 CRF 구성 요소는 도메인 간 일관된 레이블 전이를 유지하여 일반화 능력을 향상시킨다.
• 프레임워크는 고자원 도메인(예: 뉴스)에서 저자원 도메인(예: 소셜 미디어)으로의 강력한 이식 가능성을 보여준다.
• 모델은 두 작업 및 두 도메인 모두에서 기존 베이스라인보다 뛰어난 성능을 보이며, 다중 작업, 다중 도메인 학습의 효과성을 확인한다.