[논문 리뷰] Named Entity Recognition with Extremely Limited Data

John F. Foley, Sheikh Muhammad Sarwar외 1명|arXiv (Cornell University)|2018. 06. 12.

Topic Modeling참고 문헌 22인용 수 11

한 줄 요약

이 논문은 레이블이 극도로 제한된 데이터 상황에서 Named Entity Recognition(이하 NER)를 해결하기 위해 Named Entity Search(NES)를 제안한다. Named Entity Recognition를 쿼리 시간 검색 작업으로 간주함으로써, 수동으로 작성된 특징을 쿼리 텀으로 사용하고 토큰을 문서로 모델링함으로써, 최소한의 학습 데이터로도 높은 효과를 달성한다. 이는 표준 검색 엔진을 활용해 희귀하거나 전문 분야의 엔티티 클래스에 대해 상호작용적이고 효율적인 엔티티 탐지가 가능하게 한다.

ABSTRACT

Traditional information retrieval treats named entity recognition as a pre-indexing corpus annotation task, allowing entity tags to be indexed and used during search. Named entity taggers themselves are typically trained on thousands or tens of thousands of examples labeled by humans. However, there is a long tail of named entities classes, and for these cases, labeled data may be impossible to find or justify financially. We propose exploring named entity recognition as a search task, where the named entity class of interest is a query, and entities of that class are the relevant "documents". What should that query look like? Can we even perform NER-style labeling with tens of labels? This study presents an exploration of CRF-based NER models with handcrafted features and of how we might transform them into search queries.

연구 동기 및 목표

• 희귀하거나 전문적인 엔티티 클래스에 대해 극도로 제한된 레이블 데이터를 가진 상황에서 Named Entity Recognition(이하 NER)의 과제를 해결한다.
• 기존 NER 모델이 수천 개의 애너테이션 예제가 필요하므로, 장시간에 걸친 엔티티 유형에 대해선 실현 가능성이 떨어지는 점을 해결한다.
• 각 새로운 엔티티 클래스에 대해 사전에 분류기 학습을 하지 않는 상호작용적이고 쿼리 시간 기반의 NER 접근법을 탐색한다.
• 전문가 사용자가 사전에 모델 학습 없이도 '지중해 섬'이나 '실내 흡연 브랜드'와 같은 엔티티를 동적으로 탐지할 수 있도록 한다.
• 단지 수십 개의 레이블 예제만으로도 검색 엔진을 사용해 엔티티 유형 쿼리에 기반해 토큰의 순서를 매기는 것이 가능하고 효과적인지 입증한다.

제안 방법

• 코퍼스 내의 각 토큰을 문서로 간주하고, 그 토큰의 특징(예: 품사, 단어 형태, n-그램)을 검색 인덱스의 텀으로 표현한다.
• 수동으로 작성된 특징들인 단어 형태, 품사 태그, Brown 클러스터 임베딩 등을 조합하여 엔티티 유형에 대한 쿼리를 구성한다.
• CRF 기반 NER 모델을 베이스라인으로 삼고, 그 특징 집합을 검색 모델로 변환하며, 특징 가중치가 쿼리 텀의 가중치를 결정하도록 한다.
• 표준 정보 검색 기법(BM25 등)을 적용하여 주어진 엔티티 유형 쿼리에 대한 관련성에 따라 토큰을 점수 매긴다.
• 성능 저하 없이 효율성을 높이기 위해 가장 유용한 특징들(예: 상위 1000개)만 선택하여 모델 크기를 제한한다.
• 액티브 러닝 유사 상호작용을 적용: 사용자가 순위가 매겨진 결과를 바탕으로 쿼리를 반복적으로 개선함으로써 희소한 엔티티 유형 탐색이 가능하다.

실험 결과

연구 질문

• RQ1 CRF 기반 NER 모델에 수동으로 작성된 특징을 적용할 때, 토큰을 문서로 간주하는 검색 모델로 효과적으로 변환할 수 있는가?
• RQ2 단지 몇 개의 레이블 예제만 있는 상황에서 사용자 상호작용을 위한 합리적인 토큰 순위를 생성할 수 있는가?
• RQ3 효율적으로 검색 엔진에서 실행 가능한 크기로 NER 모델를 축소시킬 수 있으며, 효과성에 손상이 가지 않는가?
• RQ4 이 즉각적이고 검색 기반의 NER 환경에서 가장 효과적인 수동 NER 특징은 무엇인가?

주요 결과

• 모델 크기를 1000개의 특징으로 제한한 경우에도 전체 모델과 거의 동일한 성능을 달성함으로써, 모델 압축이 효과성에 크게 영향을 주지 않는다는 점을 입증한다.
• 최대 500개의 쿼리 텀에 대해 쿼리 실행 시간이 1초 이내로 유지되며, 5000개의 텀에 대해서도 10분 이내로 유지되어 상호작용적 사용에 실용적임을 보였다.
• QA-List 데이터셋에서 가장 높은 성능을 보인 특징들은 '오른쪽 단어', '왼쪽 단어', '문자 n-그램', '단어 형태', 'Brown 클러스터 임베딩'이었다.
• QA-List 데이터셋에서 상호작용적 접근과 불확실성 기반 베이스라인의 성능이 유사하여, 희귀하고 복잡한 엔티티 유형에 대해 이 접근법이 타당함을 검증했다.
• 샘플 수를 줄인 모델의 학습 곡선은 전체 모델과 거의 구분되지 않아, 높은 성능에 도달하기 위해 수백 번의 상호작용만으로도 충분하다는 점을 시사했다.
• 기존 CRF 학습에 수 시간이 소요되는 것과는 달리, 이 시스템은 몇백 개의 핵심 특징만으로 AQUAINT 전체 코퍼스를 몇 분 내로 처리할 수 있었다.