[논문 리뷰] Transfer Learning for Sequence Labeling Using Source Model and Target Data

Lingzhen Chen, Alessandro Moschitti|arXiv (Cornell University)|2019. 02. 14.

Topic Modeling참고 문헌 20인용 수 16

한 줄 요약

이 논문은 원천 데이터에 접근할 수 없음에도 불구하고, 새로운 개체 범주를 가진 타겟 도메인에 사전 훈련된 원천 모델을 적응시키기 위한 전이 학습 방법을 제안한다. 새로운 엔티티 카테고리에 대해 성능을 크게 향상시키기 위해 원천 및 타겟 레이블 분포를 정렬하는 신경 어댑터를 도입한다. 이는 특히 타겟 데이터가 제한적인 경우에 유의미한 성능 향상을 이룬다. I-CAB에서 최대 10.30 F1 포인트 향상과 CONLL-2003에서 1.83 포인트 향상을 달성한다.

ABSTRACT

In this paper, we propose an approach for transferring the knowledge of a neural model for sequence labeling, learned from the source domain, to a new model trained on a target domain, where new label categories appear. Our transfer learning (TL) techniques enable to adapt the source model using the target data and new categories, without accessing to the source data. Our solution consists in adding new neurons in the output layer of the target model and transferring parameters from the source model, which are then fine-tuned with the target data. Additionally, we propose a neural adapter to learn the difference between the source and the target label distribution, which provides additional important information to the target model. Our experiments on Named Entity Recognition show that (i) the learned knowledge in the source model can be effectively transferred when the target data contains new categories and (ii) our neural adapter further improves such transfer.

연구 동기 및 목표

• 새로운 엔티티 카테고리가 등장하는 새로운 도메인에 사전 훈련된 시퀀스 레이블링 모델을 적응시키는 도전 과제를 해결한다.
• 원천 학습 데이터에 접근할 수 없음에도 불구하고 원천 모델에서 타겟 모델로 지식 전이를 가능하게 한다.
• 새로운 카테고리가 도입될 때 기존에 학습된 카테고리에 대한 치명적인 잊힘과 애너테이션 불일치 문제를 완화한다.
• 특히 레이블이 부족한 타겟 데이터 상황에서 새로운 엔티티 유형의 성능을 향상시킨다.
• 이 방법이 NER를 넘어서 다른 시퀀스 레이블링 작업으로도 일반화될 수 있음을 보여준다.

제안 방법

• 새로운 카테고리에 대응하기 위해 타겟 데이터에 대해 사전 훈련된 BLSTM-CRF 모델을 미세조정하며, 인식되지 않은 카테고리에 대해 새로운 출력 뉴런을 추가하고, 이들을 원천 모델 가중치로 초기화한다.
• 원천 모델의 은닉 상태와 타겟 모델의 입력을 연결하는 신경 어댑터를 도입하여 특징 수준의 지식 전이를 가능하게 한다.
• 원천 및 타겟 레이블 분포 간의 문맥적 차이를 인코딩하기 위해 어댑터에 양방향 LSTM을 사용한다.
• 원천 모델의 가중치를 동결하여 업데이트하지 않으면서, 어댑터를 포함한 타겟 모델을 엔드 투 엔드로 훈련한다.
• 원천 모델의 가중치로 초기화된 새로운 출력 레이어 뉴런을 타겟 데이터에서 미세조정하며, 이는 이미 보인 카테고리와 보이지 않은 카테고리를 모두 포함한다.
• 추론 과정에서 시퀀스 일관성을 유지하기 위해 CRF 디코딩을 적용한다.

실험 결과

연구 질문

• RQ1 원천 데이터에 접근할 수 없음에도 불구하고, 새로운 엔티티 카테고리가 포함된 새로운 도메인에 사전 훈련된 시퀀스 레이블링 모델을 효과적으로 적응시킬 수 있는가?
• RQ2 원천 모델에서 유래한 가중치 초기화가 타겟 도메인의 새로운 카테고리 성능에 어떤 영향을 미치는가?
• RQ3 특히 타겟 데이터가 제한적인 상황에서 신경 어댑터가 전이 성능을 얼마나 향상시키는가?
• RQ4 어댑터는 새로운 레이블에 적응하면서 이전에 학습된 카테고리의 기억 상실을 어느 정도 완화하는가?
• RQ5 제안된 방법은 다양한 시퀀스 레이블링 작업과 데이터셋 간에서 얼마나 일반화되는가?

주요 결과

• 제안된 전이 학습 방법은 새로운 엔티티 카테고리의 F1 점수를 크게 향상시키며, 베이스라인 대비 CONLL-2003에서 평균 1.83 포인트, I-CAB에서 10.30 포인트 향상되었다.
• 신경 어댑터는 특히 타겟 데이터의 10–25%만 사용할 때 새로운 카테고리에서 성능 향상이 뚜렷하게 나타나며 일관되게 성능을 향상시킨다.
• 어댑터가 있는 모델은 미세조정 과정에서 수렴 속도가 빨라지며, 더 부드럽고 안정적인 학습 곡선을 보인다.
• 어댑터는 애너테이션 불일치의 영향을 완화시키며, 예를 들어 새로운 카테고리의 표면 형태가 이전에 다르게 레이블링되었거나 전혀 레이블링되지 않은 경우에도 유용하다.
• 새로운 카테고리에 적응하면서 이전에 학습된 카테고리의 치명적인 잊힘을 효과적으로 방지한다.
• 이 방법은 LOC, PER, ORG, MISC, GPE 등 다양한 엔티티 유형에 대해 일반화가 잘 되어 있으며, 두 데이터셋 모두에서 모든 카테고리에서 일관된 성능 향상을 보였다.