[논문 리뷰] A German Corpus for Fine-Grained Named Entity Recognition and Relation Extraction of Traffic and Industry Events

Martin Schiersch, Veselina Mironova외 4명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 14인용 수 13

한 줄 요약

이 논문은 뉴스 라이브러리, 트위터, 교통 보고서에서 수집한 2,598건의 문서로 구성된 다중장르 독일어 코퍼스를 제시한다. 이 코퍼스는 도로, 정류장, 노선 등의 세분화된 지리적 실체와 교통 및 산업 사건(사고, 정체, 파업 등)과 관련된 15개의 n-항 관계를 포함한다. 이 코퍼스를 통해 세분화된 NER 및 n-항 관계 추출 시스템의 학습과 평가가 가능하며, 정답 NER 입력을 사용할 경우 위치 유형 실체에 대해 F1 스코어 0.85~0.92, 관계 추출에 대해 F1 스코어 0.28을 달성한다.

ABSTRACT

Monitoring mobility- and industry-relevant events is important in areas such as personal travel planning and supply chain management, but extracting events pertaining to specific companies, transit routes and locations from heterogeneous, high-volume text streams remains a significant challenge. This work describes a corpus of German-language documents which has been annotated with fine-grained geo-entities, such as streets, stops and routes, as well as standard named entity types. It has also been annotated with a set of 15 traffic- and industry-related n-ary relations and events, such as accidents, traffic jams, acquisitions, and strikes. The corpus consists of newswire texts, Twitter messages, and traffic reports from radio stations, police and railway companies. It allows for training and evaluating both named entity recognition algorithms that aim for fine-grained typing of geo-entities, as well as n-ary relation extraction systems.

연구 동기 및 목표

• 이동 및 산업 맥락에서 독일어에 대한 다중장르, 다국어, 세분화된 NER 및 관계 추출 자원의 부족을 해결하기 위해.
• 정확한 지리적 실체(노선, 정류장 등)와 연결된 특정 사건(정체, 파업, 철도 대체 서비스 등)을 탐지할 수 있는 시스템의 학습 및 평가를 지원하기 위해.
• 트위터, 뉴스, 공식 교통 보고서 등 다양한 출처에서 비공식적, 공식적, 신문 기사 스타일의 언어를 포괄하는 자원을 제공하기 위해.
• 실제로 다양하고 이질적인 텍스트 스트림에서 세분화된 명명된 실체 인식 및 n-항 관계 추출의 평가를 가능하게 하기 위해.
• 독일어 NLP 분야, 특히 사건 및 지리적 실체 이해에 초점을 맞춘 연구를 위해 대규모로 애너테이션된 코퍼스를 공개하기 위해.

제안 방법

• 2016년 1월부터 3월까지 수집한 3,789,803건의 트윗, 412,652건의 RSS 피드, 860,307건의 뉴스 기사에서 시작하여, langid.py를 사용해 독일어로 필터링하였다.
• 모든 문서는 일관성을 확보하기 위해 텍스트, 메타데이터, 애너테이션을 포함하는 표준화된 Avro 인코딩 스키마로 변환되었다.
• 14개의 실체 유형(예: loc-str, loc-sto, org-com, tri)과 15개의 n-항 관계 유형(예: 사고, 정체, 파업)을 포함하는 포괄적인 애너테이션 체계를 정의하였다. 각 관계는 역할 기반의 인수 구조를 가진다.
• 애너테이터들이 지침을 적용하여 세분화된 지리적 실체와 사건 관계를 레이블링하였으며, n-항 관계의 중첩 및 선택적 인수에 특별한 처리를 적용하였다.
• CRF 기반 NER 모델을 코퍼스에서 학습 및 평가하였으며, 토큰 수준과 개념 수준에서 성능을 측정하였다.
• 정답 NER 입력과 예측된 NER 출력을 모두 사용하여 종속성 기반 관계 추출 모델(DARE)을 평가하여 종단 간 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 세분화된 지리적 실체 및 n-항 관계 애너테이션을 갖춘 다중장르 독일어 코퍼스가 이동 및 산업 분야의 NER 및 관계 추출 시스템 성능을 향상시킬 수 있는가?
• RQ2 다양한 실체 유형, 특히 도로와 정류장과 같은 세분화된 위치 하위 유형에 대해 NER 모델의 성능은 어떻게 달라지는가?
• RQ3 예측된 NER 출력 대비 정답 NER 애너테이션을 사용할 경우 n-항 관계 추출 시스템의 F1 스코어는 얼마나 향상되는가?
• RQ4 기존의 관계 추출 모델은 비공식적이고 신문 기사 스타일의 텍스트에서 레일 대체 서비스나 파업과 같은 복잡한 다중 인수 사건을 얼마나 효과적으로 포착할 수 있는가?
• RQ5 뉴스레터, 소셜 미디어, 공식 교통 보고서를 모두 포함하는 단일 코퍼스가 이벤트 및 지리적 실체 탐지에 대한 NLP 시스템의 장르별 평가를 지원할 수 있는가?

주요 결과

• 코퍼스는 2,598건의 문서를 포함하며, 총 22,075개의 실체 및 1,507개의 관계 애너테이션을 포함하고 있으며, 트위터, 뉴스, 공식 교통 보고서 등 다양한 장르를 커버한다.
• CRF 기반 NER 모델은 토큰 수준에서 F1 스코어 0.8469, 개념 수준에서 F1 스코어 0.7343를 기록하였으며, 위치 유형 실체(예: loc-str, loc-sto)는 F1 스코어 0.85~0.92를 달성하였다.
• n-항 관계 추출의 경우, DARE 모델은 정답 NER 입력을 사용할 경우 F1 스코어 0.2818를 기록한 반면, 예측된 NER 출력을 사용할 경우 F1 스코어 0.2043를 기록하였다.
• 정답 NER 입력과 예측된 NER 입력 간의 성능 격차는 후속 관계 추출 작업에서 정확한 실체 인식의 중요성을 강조한다.
• 코퍼스는 비공식적, 공식적, 신문 기사 스타일 텍스트의 학습 및 평가를 지원하여 NLP 모델의 장르별 행동 분석이 가능하게 한다.
• AVRO 형식으로 스키마 및 리더 도구와 함께 공개된 데이터셋은 https://dfki-lt-re-group.bitbucket.io/smartdata-corpus에서 이용 가능하다.