[논문 리뷰] Neural Adaptation Layers for Cross-domain Named Entity Recognition

Bill Yuchen Lin, Wei Lu|arXiv (Cornell University)|2018. 10. 15.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 재학습 없이 소스 도메인 데이터를 사용하지 않고도 효과적인 도메인 간 명명된 실체 인식을 가능하게 하는 경량화된 신경 적응 레이어—단어, 문장, 출력 적응 레이어—를 제안한다. 지식 전이를 제어하기 위해 단일 가속 가능한 하이퍼파rameter를 도입함으로써, 기준 NER 데이터셋에서 기존의 전이 학습 방법보다 뚜렷이 뛰어난 성능을 보이며, 최소한의 계산 오버헤드로도 도메인 간 강력한 일반화 성능을 입증한다.

ABSTRACT

Recent research efforts have shown that neural architectures can be effective in conventional information extraction tasks such as named entity recognition, yielding state-of-the-art results on standard newswire datasets. However, despite significant resources required for training such models, the performance of a model trained on one domain typically degrades dramatically when applied to a different domain, yet extracting entities from new emerging domains such as social media can be of significant interest. In this paper, we empirically investigate effective methods for conveniently adapting an existing, well-trained neural NER model for a new domain. Unlike existing approaches, we propose lightweight yet effective methods for performing domain adaptation for neural models. Specifically, we introduce adaptation layers on top of existing neural architectures, where no re-training using the source domain data is required. We conduct extensive empirical studies and show that our approach significantly outperforms state-of-the-art methods.

연구 동기 및 목표

• 소셜 미디어와 같은 새로운 도메인에 적용되었을 때 신경 기반 NER 모델의 성능 저하 문제를 해결하기 위해.
• 기존 전이 학습 방법의 한계를 극복하기 위해, 공유된 입력/출력 공간에 대한 엄격한 가정과 소스 데이터 재학습이 필요로 하는 점을 해결하기 위해.
• 사전 훈련된 소스 모델의 지식을 유지하면서도 타겟 도메인에 적응할 수 있는 경량화되고 효율적인 적응 메커니즘을 개발하기 위해.
• 도메인 간 이격을 메우기 위해 입력 및 출력 수준에서 모두 도메인 적응을 가능하게 하는 전용 적응 레이어를 도입하여, 입력, 히든, 출력 수준에서의 도메인 이격을 다루기 위해.
• 기타 자연어 처리 분야의 도메인 간 구조 예측 작업에 적용 가능한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 소스 도메인과 타겟 도메인의 단어 임베딩 간 선형 변환을 학습하는 단어 적응 레이어를 도입하여 도메인에 강인한 표현을 가능하게 한다.
• 양방향 LSTM을 사용하여 문장 수준의 문맥적 도메인 이격을 모델링함으로써, 소스 및 타겟 입력 시퀀스 간의 정렬을 향상시킨다.
• LSTM과 CRF 레이어 사이에 출력 적응 레이어를 추가하여 도메인 간 레이블 분포의 구조적 차이를 모델링한다.
• 소스 모델에서의 지식 전이 정도를 제어하기 위해 단일 가속 가능한 하이퍼파rameter ψ를 사용한다. 이는 적응의灵活性를 보장한다.
• 기존 모델의 가중치를 미세조정하지 않고도 사전 훈련된 BLSTM-CRF 모델 위에 적응 레이어를 적용함으로써 효율성과 재사용성을 확보한다.
• 소스 도메인 데이터가 필요 없이 타겟 도메인의 레이블 데이터만을 사용하여 적응 레이어를 학습한다.

실험 결과

연구 질문

• RQ1 소스 도메인 모델을 재학습하지 않고도 도메인 간 NER 성능을 향상시킬 수 있는가?
• RQ2 입력, 히든, 출력 수준에서 도메인 이격을 메우기 위해 모듈러하고 계층적인 적응 전략이 얼마나 효과적인가?
• RQ3 가벼운, 즉각 적용 가능한 메커니즘을 통해 기존의 전이 학습 베이스라인인 INIT 및 MULT보다 더 높은 성능을 달성할 수 있는가?
• RQ4 하이퍼파rameter ψ는 소스 지식 유지와 타겟 도메인 적응 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 제안된 방법은 NER를 초월한 다른 구조 예측 작업으로도 일반화 가능한가?

주요 결과

• 제안된 방법은 INIT 및 MULT과 같은 최첨단 전이 학습 베이스라인을 여러 도메인 간 NER 벤치마크에서 뚜렷이 뛰어넘는 성능을 보였다.
• 제거 실험을 통해 각 적응 레이어(단어, 문장, 출력)가 독립적으로 기여하며 누적 효과를 보임을 확인했다.
• 소스 및 타겟 도메인 간 어휘 및 레이블 분포에 큰 이격이 존재하더라도 강력한 성능을 유지함을 입증했다.
• 모델은 높은 효율성을 유지하며, 소스 데이터 재학습이 필요 없고 타겟 데이터에 대한 미세조정만으로도 실용적인 실세계 구현이 가능하다.
• 하이퍼파rameter ψ는 지식 전이를 효과적으로 제어할 수 있으며, 다양한 도메인 쌍에서 최적의 값이 탄탄하게 유지됨을 확인했다.
• 모델은 아키텍처 변경 없이도 사전 훈련된 신경 기반 NER 모델에 적용 가능하므로 일반화 성능이 뛰어나다.