[논문 리뷰] A Discourse-Level Named Entity Recognition and Relation Extraction Dataset for Chinese Literature Text

Jingjing Xu, Wen Ji외 2명|arXiv (Cornell University)|2017. 11. 19.

Topic Modeling참고 문헌 19인용 수 33

한 줄 요약

이 논문은 중국어 문학 텍스트를 대상으로 한 논의 수준의 명명된 실체 인식(NER) 및 관계 추출(RE) 데이터셋을 소개한다. 히우리스틱 규칙과 기계 보조 태깅을 통해 데이터 부족성과 일관성 문제를 해결한다. 100,000자 이상의 문자를 포함하는 726篇의 기사에서 구축된 이 데이터셋은 최신 모델이 NER에서 최대 F1 점수 71.33, RE에서 55.3을 기록할 수 있게 하여 중국어 문학 텍스트에서의 통합 NER 및 RE 작업에 새로운 기준을 설정한다.

ABSTRACT

Named Entity Recognition and Relation Extraction for Chinese literature text is regarded as the highly difficult problem, partially because of the lack of tagging sets. In this paper, we build a discourse-level dataset from hundreds of Chinese literature articles for improving this task. To build a high quality dataset, we propose two tagging methods to solve the problem of data inconsistency, including a heuristic tagging method and a machine auxiliary tagging method. Based on this corpus, we also introduce several widely used models to conduct experiments. Experimental results not only show the usefulness of the proposed dataset, but also provide baselines for further research. The dataset is available at https://github.com/lancopku/Chinese-Literature-NER-RE-Dataset

연구 동기 및 목표

• 중국어 문학에서 명명된 실체 인식(NER) 및 관계 추출(RE)에 대한 고품질의 논의 수준 데이터셋 부족 문제를 해결하기 위해.
• 인간화나 은유적 표현과 같은 모호한 실체 및 관계를 태깅할 때 발생하는 데이터 일관성 문제를 해결하기 위해.
• 히우리스틱 의미 해소 규칙과 기계 보조 레이블링을 조합한 이중 단계 태깅 파이프라인을 개발하고 검증하여 태깅 효율성과 일관성을 향상시키기 위해.
• 향후 중국어 문학 텍스트에서의 통합 NER 및 RE 연구를 위한 기준 데이터셋과 강력한 기준 성능을 제공하기 위해.
• 새로운 데이터셋에서 널리 사용되는 모델을 평가하고 NER 및 RE 작업의 성능 기준을 설정하기 위해.

제안 방법

• 문학 기사 726편에서 구성된 논의 수준의 데이터셋을 제안하며, 문장 간 문맥 연속성을 유지한다.
• 일반적인 의미 해소 규칙(예: 실체의 머리어휘만 태깅하고 형용사 제거)을 사용한 히우리스틱 태깅 방법을 도입하여 실체 레이블링의 표준화를 도모한다.
• 기계 보조 태깅 방법을 구현: 레이블이 부여된 부분집합으로 모델을 훈련시켜 나머지 텍스트에 대한 레이블을 예측하고, 태깅 작업자에게는 일치하지 않는 부분만 집중하게 하여 노동 부담을 감소시킨다.
• 빈도 기반 태깅 지침과 함께 7개의 실체 태그(예: Person, Thing, Location, Time 등)와 10개의 관계 태그(예: Part-Whole, Family, Located 등)의 포괄적인 세트를 정의한다.
• NER에는 bi-LSTM 및 CRF 모델을, RE에는 다양한 신경망 및 전통적 모델(SVM, RNN, CNN, LSTM)을 사용하며, 평가 지표로 F1 점수를 적용한다.
• 모든 모델에서 동일한 하이퍼파라미터(배치 크기 32, 100D 임베딩)를 사용한 미니배치 확률적 경사 하강법을 적용하여 훈련한다.

실험 결과

연구 질문

• RQ1 중국어 문학 텍스트에서 모호한 실체 및 관계를 태깅할 때 발생하는 데이터 일관성 문제를 효과적으로 완화할 수 있는 방법은 무엇인가?
• RQ2 문장 수준 접근 방식과 비교했을 때, 논의 수준의 문맥이 NER 및 RE 모델 성능에 얼마나 기여하는가?
• RQ3 최신 모델을 사용하여 중국어 문학 텍스트에서의 통합 NER 및 RE 작업에 대한 성능 기준은 무엇인가?
• RQ4 이 새로운 데이터셋에서 다양한 특징 공학 및 신경망 아키텍처의 F1 점수는 어떻게 비교되는가?
• RQ5 기계 보조 태깅이 고도의 레이블 일관성을 유지하면서 인간 태깅 작업량을 상당히 줄일 수 있는가?

주요 결과

• CRF 모델이 NER에서 F1 점수 71.33을 기록하며 Bi-LSTM(66.19)을 능가하여 구조화된 특징 템플릿의 이점을 입증한다.
• CRF 모델은 Person 태그에서 70.19 F1, Location에서 58.42 F1, Metric 태그에서 49.74 F1를 기록하여 빈도가 높고 식별이 쉬운 실체에서 더 높은 성능을 보였다.
• 관계 추출에서 SDP-LSTM 모델이 F1 점수 55.3을 기록하며 SVM(48.9) 및 기타 신경망 모델을 능가했다.
• Bi-LSTM 모델은 NER에서 F1 점수 64.63를 기록했으며, Person 및 Thing 태그에서 정밀도는 67.07로 높지만 재현율은 62.37로 낮아 커버리지 향상 여지가 있음을 시사한다.
• 히우리스틱 규칙과 기계 보조 보정을 통해 검증된 고품질 태깅 덕분에, 모호한 문학적 표현에 대한 일관된 레이블링이 가능했다.
• 결과적으로 CRF와 SDP-LSTM 모델이 제안된 코퍼스에서 최고 성능을 보이며 향후 연구를 위한 강력한 기준 성능을 확립했다.