[논문 리뷰] Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning

Minlong Peng, Xiaoyu Xing외 3명|arXiv (Cornell University)|2019. 06. 04.

Topic Modeling참고 문헌 39인용 수 13

한 줄 요약

이 논문은 단지 비라벨 텍스트와 간단한 엔티티 사전을 사용하여 거리 감독(distant supervision)을 위한 양성-무라벨(PU) 학습 프레임워크를 제안한다. NER를 PU 학습 문제로 공식화함으로써, 편향 없는 손실 추정과 적응형 AdaSampling 전략을 통한 반복적 사전 강화를 통해, 완전하지 않은 사전 조차도 감독 모델과 비교할 만한 강건한 성능을 달성한다.

ABSTRACT

In this work, we explore the way to perform named entity recognition (NER) using only unlabeled data and named entity dictionaries. To this end, we formulate the task as a positive-unlabeled (PU) learning problem and accordingly propose a novel PU learning algorithm to perform the task. We prove that the proposed algorithm can unbiasedly and consistently estimate the task loss as if there is fully labeled data. A key feature of the proposed method is that it does not require the dictionaries to label every entity within a sentence, and it even does not require the dictionaries to label all of the words constituting an entity. This greatly reduces the requirement on the quality of the dictionaries and makes our method generalize well with quite simple dictionaries. Empirical studies on four public NER datasets demonstrate the effectiveness of our proposed method. We have published the source code at \url{https://github.com/v-mipeng/LexiconNER}.

연구 동기 및 목표

• 대규모 인간 레이블링 데이터가 확보되지 않은 저자원 NER 문제를 해결하기 위해.
• 고카버리지·고정밀도 엔티티 사전에 대한 의존도를 줄이기 위해, 완전하지 않은 사전 매칭에서도 효과적인 학습이 가능하도록 하기 위해.
• 양성 예측의 부분적인 레이블링에도 불구하고 분류 손실을 정확하게 추정할 수 있는 PU 학습 방법을 개발하기 위해.
• 모델 예측을 활용해 반복적으로 사전을 강화함으로써 일반화 성능을 향상시키고, 완전하지 않은 커버리지로 인한 편향을 줄이기 위해.
• 최소한의 감독으로 여러 공개 NER 벤치마크에서 방법의 효과성을 검증하기 위해.

제안 방법

• 엔티티 사전에 매칭된 단어를 양성(P) 예외로 간주하고, 나머지 모든 단어를 무라벨(U) 데이터로 간주하여 NER를 PU 학습 문제로 설정한다.
• 실제 엔티티 분포를 반영하는 라벨된 P 예외가 존재할 경우, 진정한 리스크를 편향 없이 일관되게 추정할 수 있는 새로운 PU 학습 알고리즘을 도입한다.
• 부족한 양성 레이블링으로 인한 편향을 보정하기 위해 재가중된 경험적 리스크 최소화 목적함수를 사용한다.
• 고신뢰도의 무라벨 예측을 새로운 양성 예외로 선별함으로써 반복적으로 사전을 정교화하는 데 적응형 AdaSampling 전략을 활용한다.
• 데이터로부터 양성 예외의 비율($\pi_p$)을 추정하여 손실 함수 校정 및 추정 안정성 향상에 활용한다.
• 프레임워크는 비라벨 텍스트에서 끝내기로 학습하며, 약한 감독으로 사전 매칭 결과 외에는 추가 정보를 사용하지 않는다.

실험 결과

연구 질문

• RQ1 비라벨 텍스트와 단순한 엔티티 사전만을 사용하는 PU 학습 프레임워크가 경쟁력 있는 NER 성능을 달성할 수 있는가?
• RQ2 완전하지 않은 양성 레이블링에도 불구하고 제안된 방법이 진정한 분류 리스크를 편향 없고 일관되게 추정할 수 있는가?
• RQ3 사전의 품질과 크기에 따라 성능가 어떻게 변하는가? 반복적 강화가 성능 향상에 기여하는가?
• RQ4 다양한 NER 데이터셋과 엔티티 유형 간에서 이 방법의 일반화 능력은 어느 정도인가?
• RQ5 양성 예외 비율($\pi_p$) 추정 오류에 대해 이 방법은 얼마나 강건한가?

주요 결과

• 제안된 방법은 단지 단순한 사전만을 사용함에도 불구하고 CoNLL-2003에서 여러 감독 모델과 비교할 만한 F1 스코어를 달성한다.
• CoNLL (en) 테스트 세트에서 원본 사전을 사용할 경우 전체 F1은 83.13%를 기록하고, 확장된 사전을 사용할 경우 82.94%를 기록하여, 더 많은 가짜 양성 예외가 포함되더라도 성능 저하가 거의 없음을 보여준다.
• 실제 $\pi_p$를 사용하는 모델과 추정된 $\pi_p$를 사용하는 모델의 성능이 거의 동일하여, 추정 오류에 대해 강건함을 입증한다.
• 더 많은 비라벨 데이터가 제공될수록 성능 향상이 이루어지지만, 일정 크기 이상에서는 더 이상 유의미한 성능 향상이 없어지며, 고유 패턴 탐색의 포화 상태에 도달함을 시사한다.
• 확장된 사전는 재현율을 높히지만 LOC 엔티티의 정밀도는 85.07에서 71.77로 감소시켜 커버리지와 품질 사이의 상충 관계를 보여준다.
• 반복적 사전 강화를 적용한 AdaPU 변종은 모든 엔티티 유형에서 일관된 성능 향상을 보이며, 적응 전략의 효과성을 확인한다.