[논문 리뷰] Named Entity Recognition for Novel Types by Transfer Learning

Lizhen Qu, Gabriela Ferraro외 3명|arXiv (Cornell University)|2016. 10. 31.

Topic Modeling참고 문헌 19인용 수 11

한 줄 요약

이 논문은 레이블 세트가 다름에도 불구하고 새로운 도메인에서 소수의 샘플로 이름 붙인 실체 인식(NER)을 위한 전이 학습 방법인 TransInit를 제안한다. 소스 도메인의 CRF 모델을 활용하고 선형 분류기를 통해 소스와 타겟 엔티티 유형 간의 의미적 상관관계를 학습함으로써, 단지 125개의 도메인 내 훈련 문장만으로도 강력한 기준 모델 대비 최대 160%의 F1 점수 향상을 달성한다.

ABSTRACT

In named entity recognition, we often don't have a large in-domain training corpus or a knowledge base with adequate coverage to train a model directly. In this paper, we propose a method where, given training data in a related domain with similar (but not identical) named entity (NE) types and a small amount of in-domain training data, we use transfer learning to learn a domain-specific NE model. That is, the novelty in the task setup is that we assume not just domain mismatch, but also label mismatch.

연구 동기 및 목표

• 도메인 내 레이블 데이터가 부족하고 타겟 엔티티 유형이 소스 도메인과 다를 경우 효과적인 NER 모델을 훈련하는 데 도전하는 것.
• 소스 도메인과 타겟 도메인 간 레이블 세트가 동일하다는 가정이 내재된 표준 도메인 적응 기법의 한계를 극복하는 것.
• 소스와 타겟 명시적 실체 유형 간 의미적 관계를 모델링하여 도메인과 레이블 세트가 모두 다를 경우에도 전이 학습을 가능하게 하는 것.
• 특히 고도의 커버리지 지닌 지식 기반 시스템이 존재하지 않을 경우, 극소수의 도메인 내 훈련 예시만으로도 소수의 샘플 NER 성능을 향상시키는 것.
• 학습된 엔티티 유형 간 의미적 상관관계가 저자원 환경에서 모델 초기화 및 미세조정을 효과적으로 이끄는지 입증하는 것.

제안 방법

• 대규모 사전 애너테이션된 소스 도메인 코퍼스에 대해 선형 체인 CRF를 훈련하여 강력한 기준 모델을 확립한다.
• 첫 번째 레이어를 소스 모델의 가중치로 초기화한 두 층의 신경망을 사용하여 소스와 타겟 명시적 실체 유형 간 상관관계를 학습한다.
• 학습된 상관관계 행렬을 사용해 타겟 도메인의 CRF를 초기화하여 소스 유형에서 타겟 유형으로 지식을 전이한다.
• 소량의 도메인 내 레이블 데이터에 대해 전체 모델을 미세조정하며, 모든 파라미터를 업데이트하여 도메인 특화 패턴에 적응시킨다.
• 하나의 하위층을 동 冻결하고 선형 분류기만 업데이트하는 등의 아블레이션 변형을 탐색하여 특징 전이의 영향을 평가한다.
• 입력 분포의 변화(공변량 이동) 문제를 해결하기 위해 신경망의 은닉층을 업데이트함으로써 고정된 특징 표현보다 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 소스 도메인과 타겟 도메인 모두가 다를 경우, 전이 학습이 이 둘 간 격차를 효과적으로 메울 수 있는가?
• RQ2 직접적인 레이블 겹침이 없을 경우, 모델이 소스와 타겟 명시적 실체 유형 간 의미적 관계를 얼마나 잘 학습할 수 있는가?
• RQ3 표준 기준 모델 대비 특징과 레이블 상관관계를 전이함으로써 소수의 샘플 NER 성능이 얼마나 향상되는가?
• RQ4 미세조정 중 은닉층을 업데이트하는 것이 동결하는 것보다 성능을 더 좋게 하는가, 특히 저자원 조건에서 그렇다면?
• RQ5 소스와 타겟 도메인이 엔티티 유형에서 의미적 연결성이 전혀 없을 경우(예: CADEC-CoNLL 설정), 이 방법의 탄력성은 어느 정도인가?

주요 결과

• TransInit는 도메인 내 문장 125개만으로도 강력한 기준 모델 대비 최대 160%의 F1 점수 향상을 달성한다.
• 300개 미만의 훈련 문장으로도 TransInit는 기준 모델 Embed보다 F1 점수를 10배 높게 달성한다. 이는 자동으로 발견된 의미적 상관관계 덕분이다.
• 메타데이터에 공통 유형이 존재하지 않더라도, DOCTOR를 PERSON으로, ID를 CARDINAL로 매핑하는 등 의미적으로 유의미한 유형 정렬을 성공적으로 식별한다.
• 소규모 훈련 데이터에서 CCA 기반 방법보다 TransInit가 더 나은 성능을 보이며, 의미적 유사도를 더 잘 모델링하기 때문이다.
• 비선형 은닉층을 제거하면 성능이 크게 향상되는데, 이는 비정규화된 소스 확률 값이 tanh 함수에서 포화 상태에 이르기 때문이다.
• 미세조정 중 은닉층을 업데이트하면 동결한 경우 대비 최대 27% 높은 F1 점수를 기록하여, 공변량 이동 문제를 해결하기 위해 저수준 특징을 적응시키는 것이 중요하다는 점을 입증한다.