[논문 리뷰] Multi-task Domain Adaptation for Sequence Tagging

Nanyun Peng, Mark Dredze|arXiv (Cornell University)|2016. 08. 09.

Topic Modeling참고 문헌 46인용 수 4

한 줄 요약

이 논문은 공유된 BiLSTM-CRF 아키텍처와 도메인별 투영, 작업별 디코더를 사용하는 다중 작업 도메인 적응 프레임워크를 제안하며, 여러 자연어 처리 작업(예: 중국어 단어 분할 및 명명된 실체 인식) 간의 공동 학습을 통해 자원이 적은 도메인에서의 일반화 성능을 향상시킵니다. 이 방법은 공유 표현을 통해 작업 간 및 도메인 간 표현을 활용함으로써 소셜 미디어 텍스트에서 최신 기술 성능을 달성합니다.

ABSTRACT

Many domain adaptation approaches rely on learning cross domain shared representations to transfer the knowledge learned in one domain to other domains. Traditional domain adaptation only considers adapting for one task. In this paper, we explore multi-task representation learning under the domain adaptation scenario. We propose a neural network framework that supports domain adaptation for multiple tasks simultaneously, and learns shared representations that better generalize for domain adaptation. We apply the proposed framework to domain adaptation for sequence tagging problems considering two tasks: Chinese word segmentation and named entity recognition. Experiments show that multi-task domain adaptation works better than disjoint domain adaptation for each task, and achieves the state-of-the-art results for both tasks in the social media domain.

연구 동기 및 목표

• 다양한 NLP 작업을 공동으로 학습시킴으로써 자원이 적은 설정에서의 도메인 적응을 향상시키기 위해.
• 다중 작업 학습이 도메인 적응을 위한 표현 일반화를 향상시킬 수 있는지 조사하기 위해.
• 원천 데이터가 타겟 도메인과 다를 뿐 아니라 원천 작업과도 다를 수 있는 새로운 도메인/작업 불일치 설정을 탐색하기 위해.
• 다중 작업 학습과 도메인 적응을 동시에 지원하는 유연한 신경망 프레임워크를 개발하기 위해.
• 소셜 미디어 도메인의 시퀀스 태깅 작업에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 프레임워크는 모든 작업과 도메인에 걸쳐 공유 표현 학습기를 갖춘 공유된 BiLSTM-CRF 모델을 사용합니다.
• 각 도메인은 도메인 전용 표현을 공유 공간으로 매핑하는 전용 도메인 투영 레이어를 갖습니다.
• 작업별 디코더는 공유 표현을 기반으로 다수의 시퀀스 태깅 작업을 지원하도록 학습됩니다.
• 모델은 작업 간 파라미터 공유와 도메인 전용 투영을 통해 엔드 투 엔드로 학습됩니다.
• 선형적으로 증가하는 파라미터로 다수의 도메인과 작업에 대해 확장 가능한 아키텍처를 지원합니다.
• 공유 표현을 통한 도메인 적응과 작업별 헤드의 공동 최적화를 통한 다중 작업 학습을 통합합니다.

실험 결과

연구 질문

• RQ1 다중 작업 학습이 시퀀스 태깅 작업에서 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 다양한 작업 간 공유 표현을 학습하면 자원이 적은 타겟 도메인에서 더 나은 일반화가 이루어지는가?
• RQ3 제안된 프레임워크는 동일한 설정에서 단일 작업 도메인 적응보다 어떻게 성능을 내는가?
• RQ4 도메인 투영을 통해 도메인 차이를 명시적으로 모델링하는 것과 단순히 여러 도메인의 학습 데이터를 결합하는 것의 영향은 무엇인가?
• RQ5 원천 데이터가 타겟과 도메인과 작업 모두에서 다를 경우, 프레임워크는 도메인/작업 불일치 상황에서 일반화가 가능한가?

주요 결과

• 다중 작업 도메인 적응 프레임워크는 중국어 단어 분할과 명명된 실체 인식 양쪽 모두에서 단일 작업 도메인 적응보다 뛰어난 성능을 보였다.
• 제안된 방법은 소셜 미디어 도메인에서 두 작업 모두 최신 기술 성능을 달성했다.
• 도메인 투영을 통해 도메인 차이를 명시적으로 모델링하는 것이 단순히 여러 도메인의 학습 데이터를 결합하는 것보다 더 높은 성능을 내는 것으로 나타났다.
• 프레임워크는 도메인/작업 불일치 상황에서도 잘 일반화되었으며, 다양한 데이터에서의 공동 학습의 이점을 입증했다.
• 다양한 수의 원천 데이터셋에 걸쳐 일관된 성능 향상을 보이며, 데이터 스케일에 대해 강건함을 확인했다.
• 다중 작업 학습과 도메인 적응의 통합은 자원이 적은 환경에서 표현 품질과 일반화 능력을 향상시켰다.