[논문 리뷰] TURNER: The Uncertainty-based Retrieval Framework for Chinese NER

Zhichao Geng, Hang Yan외 3명|arXiv (Cornell University)|2022. 02. 18.

Topic Modeling인용 수 5

한 줄 요약

TURNER는 몽테카를로 드롭아웃 또는 상위-K 레이블 시퀀스를 통해 불확실한 엔티티 수준 성분을 식별하고 이를 검색 쿼리로 사용하여 외부 지식을 검색함으로써 중국어 NER의 성능을 향상시키는 새로운 불확실성 기반 검색 프레임워크이다. 이는 검색된 지식을 융합 모델에 효과적으로 통합함으로써 강력한 기준 모델 대비 평균 F1 점수를 1.1% 향상시키며 새로운 SOTA 성능을 달성한다.

ABSTRACT

Chinese NER is a difficult undertaking due to the ambiguity of Chinese characters and the absence of word boundaries. Previous work on Chinese NER focus on lexicon-based methods to introduce boundary information and reduce out-of-vocabulary (OOV) cases during prediction. However, it is expensive to obtain and dynamically maintain high-quality lexicons in specific domains, which motivates us to utilize more general knowledge resources, e.g., search engines. In this paper, we propose TURNER: The Uncertainty-based Retrieval framework for Chinese NER. The idea behind TURNER is to imitate human behavior: we frequently retrieve auxiliary knowledge as assistance when encountering an unknown or uncertain entity. To improve the efficiency and effectiveness of retrieval, we first propose two types of uncertainty sampling methods for selecting the most ambiguous entity-level uncertain components of the input text. Then, the Knowledge Fusion Model re-predict the uncertain samples by combining retrieved knowledge. Experiments on four benchmark datasets demonstrate TURNER's effectiveness. TURNER outperforms existing lexicon-based approaches and achieves the new SOTA.

연구 동기 및 목표

• 동적 도메인에서 유지보수가 어려운 고비용의 정적 고품질 사전이 필요로 하는 사전 기반 방법의 한계를 해결하기 위해.
• 입력 텍스트의 가장 불확실하고 모호한 성분에 집중함으로써 NER에서 지식 검색의 효율성과 효과성을 향상시키기 위해.
• 재학습 없이도 외부 지식 소스(예: 검색 엔진 또는 지식 그래프)를 동적으로 활용할 수 있도록 프레임워크를 개발하기 위해.
• 불확실성 샘플링이 표적 검색을 이끌 수 있으며, 불필요한 쿼리 수를 줄이고 예측 정확도를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 기본 NER 모델에서 얻은 몽테카를로 드롭아웃 또는 상위-K 레이블 시퀀스를 사용해 입력 텍스트 내 불확실한 엔티티 수준 성분을 식별한다.
• 불확실한 성분을 쿼리로 사용해 검색 엔진이나 오프라인 지식 그래프와 같은 외부 소스에서 보조 지식을 검색한다.
• 기본 입력, 검색된 지식, 기존 모델 출력을 결합하여 불확실 샘플을 재예측하는 지식 융합 모델을 구축한다.
• 오프라인 지식 그래프에서의 검색에 대해 BM25를 사용하며, 각 주제를 설명 문서로 확장하여 매칭한다.
• 불확실성 샘플링의 품질과 효율성을 평가하기 위해 샘플 수락 비율(SAR)과 유용한 샘플 비율(VSR)을 사용한다.
• GPU 사용량의 트레이드오프를 고려해 몽테카를로 드롭아웃(첫 번째 단계 비용이 높음)과 상위-K 샘플링(더 높은 검색 볼륨) 간의 계산 비용을 균형 잡는다.

실험 결과

연구 질문

• RQ1 불확실성 샘플링이 중국어 NER에서 가장 모호한 성분을 효과적으로 식별하여 더 효율적이고 효과적인 지식 검색을 이끌 수 있는가?
• RQ2 모든 엔티티가 아니라 불확실한 성분에 대해서만 지식을 검색할 경우, 기존 방법에 비해 NER 성능 향상이 뚜렷한가?
• RQ3 표준 중국어 NER 벤치마크에서 TURNER는 기존 사전 기반 SOTA 방법과 비교해 어떻게 성능을 냈는가?
• RQ4 검색 엔진과 같은 동적 소스와 정적 지식 그래프와 같은 다양한 지식 소스 간에 TURNER의 일반화 능력은 어떻게 되는가?
• RQ5 몽테카를로 드롭아웃과 상위-K 레이블 시퀀스 샘플링을 사용할 경우, 계산 비용과 검색 효과성 간의 트레이드오프는 어떠한가?

주요 결과

• TURNER는 네 가지 벤치마크 데이터셋에서 기준 BERT 기반 NER 모델보다 평균 F1 점수를 1.1% 향상시켰다.
• 검색 엔진 기반 검색을 통해 TURNER는 MSRA, Ontonotes, Weibo, Resume 데이터셋에서 기존 사전 기반 방법을 능가하는 새로운 SOTA 성능을 달성했다.
• 오프라인 지식 그래프 버전의 TURNER는 도메인 내 데이터셋(MSRA, Ontonotes, Resume)에서 기존 SOTA 사전 기반 방법을 초월하여 일반화 능력을 입증했다.
• 상위-K 레이블 시퀀스 샘플링은 몽테카를로 드롭아웃보다 더 높은 VSR(0.071, Ontonotes 기준)와 더 나은 오라클 F1 점수(92.3)를 기록했으며, 이는 더 나은 유용한 불확실 성분의 복원 능력을 의미한다.
• 상위-K 방법은 몽테카를로 드롭아웃보다 더 높은 검색 볼륨(Onotonotes 기준 평균 0.764건/샘플)을 기록했지만, 두 방법 모두 최종 성능에서 유사한 수준을 보였다.
• 프레임워크는 계산 가능성을 유지하였으며, GPU 비용 분석 결과 몽테카를로 드롭아웃과 상위-K 샘플링 간의 선택은 시스템 제약 조건과 자원 사용량의 트레이드오프에 따라 달라진다.