[논문 리뷰] $k$NN-NER: Named Entity Recognition with Nearest Neighbor Search

Shuhe Wang, Xiaoya Li외 5명|arXiv (Cornell University)|2022. 03. 31.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 추론 시 캐시된 훈련 데이터셋에서 $k$개의 가장 유사한 이웃을 검색하여, 기존 NER 모델의 예측을 보간함으로써 성능을 햖थ한 $k$NN-NER를 제안한다. 재학습 없이 유사도 기반 이웃 검색을 활용함으로써 $k$NN-NER는 최신 기술 수준의 성능을 달성하였으며, 중국어 웨이보 NER에서 F1 점수 72.03을 기록하고, 훈련 데이터를 40% 줄여도 유사한 성능을 내어 자원 효율성을 입증하였다.

ABSTRACT

Inspired by recent advances in retrieval augmented methods in NLP~\citep{khandelwal2019generalization,khandelwal2020nearest,meng2021gnn}, in this paper, we introduce a $k$ nearest neighbor NER ($k$NN-NER) framework, which augments the distribution of entity labels by assigning $k$ nearest neighbors retrieved from the training set. This strategy makes the model more capable of handling long-tail cases, along with better few-shot learning abilities. $k$NN-NER requires no additional operation during the training phase, and by interpolating $k$ nearest neighbors search into the vanilla NER model, $k$NN-NER consistently outperforms its vanilla counterparts: we achieve a new state-of-the-art F1-score of 72.03 (+1.25) on the Chinese Weibo dataset and improved results on a variety of widely used NER benchmarks. Additionally, we show that $k$NN-NER can achieve comparable results to the vanilla NER model with 40\% less amount of training data. Code available at \url{https://github.com/ShannonAI/KNN-NER}.

연구 동기 및 목표

• 표준 모델이 잘 처리하지 못하는 희귀하거나 미리보지 않은 실체를 포함한 장꼬리 실체 인식 문제를 해결한다.
• 검색을 통해 관련 훈련 예제에 접근함으로써 소수의 예시 및 저자원 학습 능력을 향상시킨다.
• 추가 훈련이나 아키텍처 수정 없이 모델 일반화 능력을 향상시킨다.
• 추론 시 유사한 훈련 예제를 검색하는 것이 기존의 기억 기반 훈련 방식보다 우수한 성능을 낼 수 있음을 입증한다.
• $k$NN-NER가 훈련 데이터를 40% 줄여도 강력한 성능을 유지함을 보여주어 자원 효율성을 입증한다.

제안 방법

• 사전 훈련된 기존 NER 모델(예: BERT)의 은닉 상태에서 표현-라벨 쌍을 캐시한다.
• 추론 시 입력 토큰(예: 'Washington')을 인코딩하고, 코사인 유사도를 사용해 데이터베이스에서 $k$개의 가장 유사한 이웃을 검색한다.
• 가장 유사한 $k$개의 훈련 예제를 검색하고, 각각의 라벨 분포를 추출한다.
• 학습 가능한 또는 고정된 가중치 방법을 사용해 기존 NER 모델의 출력 분포와 $k$개의 가장 가까운 이웃의 라벨 분포를 보간한다.
• 보간된 분포를 각 토큰의 최종 예측으로 사용함으로써 희귀하거나 OOV(Out-of-Vocabulary) 실체에 대한 강건성을 향상시킨다.
• 재학습 없이도 다양한 사전 훈련된 모델(BERT, RoBERTa, ChineseBERT)을 영어 및 중국어 NER 벤치마크에 적용한다.

실험 결과

연구 질문

• RQ1 캐시된 훈련 세트에서 $k$개의 가장 가까운 이웃 검색이 장꼬리 및 희귀 실체 인식 성능을 향상시킬 수 있는가?
• RQ2 제안된 $k$NN-NER 프레임워크가 추가 훈련 없이도 소수의 예시 및 저자원 학습을 향상시킬 수 있는가?
• RQ3 kNN 검색에서 $k$의 선택에 따라 성능에 얼마나 민감한가?
• RQ4 $k$NN-NER가 훈련 데이터를 크게 줄여도 표준 NER 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 검색 증강 접근 방식이 다국어 및 저자원 설정을 포함한 다양한 NER 벤치마크에서 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• 중국어 웨이보 NER 데이터셋에서 $k$NN-NER는 기존의 중국어BERT-Large 모델보다 +1.23 향상된 최신 기술 수준의 F1 점수 72.03을 기록하였다.
• 중국어 OntoNotes 4.0에서 $k$=256일 때 기존 BERT-Base 모델보다 F1 점수 +1.75 향상되었다.
• 훈련 데이터의 60%만으로도 $k$NN-NER가 전체 데이터 기반의 기존 모델과 동일한 성능을 달성하여 강력한 자원 효율성을 입증하였다.
• 성능이 $k$=256에서 안정화되었으며, $k$=512일 때도 추가 향상가 없어 하이퍼파라미터 선택에 대해 강건함을 보였다.
• CoNLL03, OntoNotes5.0, MSRA, 웨이보 NER 등 평가된 모든 벤치마크에서 F1 점수가 일관되게 향상되었으며, +0.11에서 +1.63의 개선 폭을 기록하였다.
• 보간 메커니즘이 의미적으로 유사한 훈련 예제를 효과적으로 활용하여, 재학습 없이도 희귀하거나 미리보지 않은 실체에 대한 예측을 향상시켰다.