[논문 리뷰] Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning

Xinyu Wang, Yong Jiang외 5명|arXiv (Cornell University)|2021. 05. 08.

Topic Modeling참고 문헌 48인용 수 9

한 줄 요약

이 논문은 검색 엔진을 통해 외부 문맥 텍스트를 검색하고, 검색 기반의 시각을 통해 이를 입력에 통합함으로써 명명된 실체 인식(NER) 성능을 햖थ기 위한 방법을 제안한다. 원본 입력 시각과 검색 기반 입력 시각 간의 표현과 예측을 정렬하기 위해 협동 학습(Cooperative Learning)을 사용하여, 5개 도메인에 걸친 8개의 NER 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특히 자원이 부족하거나 문맥이 제공되지 않는 상황에서도 정확도가 크게 향상된다.

ABSTRACT

Recent advances in Named Entity Recognition (NER) show that document-level contexts can significantly improve model performance. In many application scenarios, however, such contexts are not available. In this paper, we propose to find external contexts of a sentence by retrieving and selecting a set of semantically relevant texts through a search engine, with the original sentence as the query. We find empirically that the contextual representations computed on the retrieval-based input view, constructed through the concatenation of a sentence and its external contexts, can achieve significantly improved performance compared to the original input view based only on the sentence. Furthermore, we can improve the model performance of both input views by Cooperative Learning, a training method that encourages the two input views to produce similar contextual representations or output label distributions. Experiments show that our approach can achieve new state-of-the-art performance on 8 NER data sets across 5 domains.

연구 동기 및 목표

• 문서 수준의 문맥이 제공되지 않는 저문맥 상황에서 NER 모델 성능을 향상시키기 위해.
• 검색 엔진을 통해 외부 지식을 활용하여 입력 표현을 풍부화시켜 더 나은 명명된 실체 해석에 기여하기 위해.
• 원본 입력 시각과 검색 기반 입력 시각을 동시에 향상시키는 통합 학습 프레임워크를 개발하기 위해.
• 협동 학습을 통해 비라벨 데이터를 활용하여 준지도 학습을 가능하게 하기 위해.
• 다양한 도메인에 걸쳐 여러 NER 벤치마크에서 기존 최신 기술 수준의 모델을 초월하기 위해.

제안 방법

• 입력 문장을 쿼리로 사용하여 검색 엔진을 통해 k개의 관련 텍스트를 검색한다.
• BERTScore를 사용하여 검색된 텍스트를 재정렬하여 의미적으로 가장 관련성이 높은 l개의 텍스트를 외부 문맥으로 선별한다.
• 입력 문장과 상위-l개의 검색된 텍스트를 연결하여 검색 기반 입력 시각을 구성한다.
• 원본 입력 시각(외부 문맥 없음)과 검색 기반 입력 시각을 동시에 학습하는 통합 모델을 훈련한다.
• 두 시각 간의 토큰 표현 간의 L2 거리 또는 레이블 예측 분포 간의 KL 발산을 최소화하기 위해 협동 학습(Cooperative Learning, CL)을 적용한다.
• 시퀀스 태깅을 위해 트랜스포머 기반 모델에 CRF 레이어를 추가하고, NLL 손실과 CL 손실을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 문서 수준의 문맥이 없는 상황에서 검색 엔진을 통해 확보한 외부 문맥이 NER 성능을 크게 향상시킬 수 있는가?
• RQ2 협동 학습이 원본 입력 시각과 검색 기반 입력 시각 간의 예측과 표현을 정렬하는 데 얼마나 효과적인가?
• RQ3 제안된 방법이 다양한 도메인으로 일반화되어 여러 NER 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 협동 학습을 통해 비라벨 데이터를 활용하면 준지도 학습 환경에서 모델 성능이 추가로 향상되는가?
• RQ5 재정렬 방법(예: BERTScore)의 선택이 검색된 문맥의 품질과 후속 NER 정확도에 어떤 영향을 미치는가?

주요 결과

• 입력 문장과 의미적으로 관련성이 높은 외부 텍스트를 결합한 검색 기반 입력 시각은 원본 입력 시각만을 사용하는 것보다 NER 성능을 크게 향상시킨다.
• L2 거리 또는 KL 발산 제약 조건을 갖는 협동 학습은 원본 입력 시각과 검색 기반 입력 시각의 성능을 동시에 향상시킨다.
• 제안된 방법은 사회 미디어, 전자상거래, 뉴스 등 5개의 다른 도메인에 걸친 8개의 NER 데이터셋에서 새로운 최신 기술 수준의 성능을 달성한다.
• 특히 문서 수준의 문맥이 없는 저문맥 상황에서 강력한 일반화 능력과 강인함을 보이며, 성능이 뛰어나다.
• 비라벨 데이터를 협동 학습을 통해 활용한 준지도 학습은 성능을 추가로 향상시키며, 확장성과 적응 가능성의 잠재력을 보여준다.
• BERTScore 기반 재정렬은 고품질의 외부 문맥을 선별하는 데 다른 스코링 함수보다 뛰어나며, 더 나은 문맥 표현을 이끈다.