[논문 리뷰] A Corpus Study and Annotation Schema for Named Entity Recognition and Relation Extraction of Business Products

Saskia Schön, Veselina Mironova외 2명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 14인용 수 6

한 줄 요약

이 논문은 기업 간(B2B) 제품과 그 제조업체에 대한 명명된 엔티티 인식 및 관계 추출을 위한 새로운 애너테이션 체계와 초보적 영문 코퍼스를 소개한다. 저자들은 노이즈 있는 제품 언급을 수집하기 위해 부트스트랩 방법을 사용하며, 제품 엔티티와 CompanyProvidesProduct 관계를 애너테이션하기 위한 상세한 가이드라인을 수립하여, 152건의 문서와 379개의 애너테이션 관계를 포함한 코퍼스를 구축하였다. 이는 산업 정보 추출을 위한 훈련 데이터에 있어 중요한 격차를 메우는 데 기여한다.

ABSTRACT

Recognizing non-standard entity types and relations, such as B2B products, product classes and their producers, in news and forum texts is important in application areas such as supply chain monitoring and market research. However, there is a decided lack of annotated corpora and annotation guidelines in this domain. In this work, we present a corpus study, an annotation schema and associated guidelines, for the annotation of product entity and company-product relation mentions. We find that although product mentions are often realized as noun phrases, defining their exact extent is difficult due to high boundary ambiguity and the broad syntactic and semantic variety of their surface realizations. We also describe our ongoing annotation effort, and present a preliminary corpus of English web and social media documents annotated according to the proposed guidelines.

연구 동기 및 목표

• 비저널리스틱 텍스트에서 기업 간 제품 엔티티와 기업-제품 관계에 대한 공개된 애너테이션 코퍼스가 부족한 문제를 해결하기 위해.
• 제품 언급의 언어학적 복잡성, 특히 경계의 모호성과 문법적 다양성을 포괄하는 상세한 애너테이션 체계를 개발하기 위해.
• 제품 엔티티와 CompanyProvidesProduct 관계를 위한 영문 웹 및 소셜 미디어 텍스트의 초보적 수작업 애너테이션 코퍼스를 구축하기 위해.
• 더 나은 훈련 데이터를 통해 공급망 모니터링 및 시장 조사 분야에서 신뢰할 수 있는 NLP 시스템 개발을 지원하기 위해.
• 비소비자, 산업용 제품 유형과 그 제조업체에 대해 더 정확하고 세밀한 정보 추출을 가능하게 하기 위해.

제안 방법

• 웹 및 소셜 미디어 텍스트에서 노이즈 있는 제품 언급을 추출하기 위해 수작업으로 정의된 어휘 패턴을 사용한 부트스트랩 방법을 사용한다.
• 문법적 및 의미적 다양성을 고려한 상세한 체계를 사용하여 제품 엔티티와 CompanyProvidesProduct 관계를 수작업으로 애너테이션한다.
• 텍스트 스트링을 엔티티로 표시하고, n-항 관계를 생성하며, 의미 역할을 할당하기 위해 Recon 애너테이션 툴을 사용한다.
• 완전한 기업명과 약어를 처리하기 위해 공명성 해결 기법을 적용하며, 이를 별개의 엔티티로 간주하고 정체성 관계로 연결한다.
• 동일한 관계 인스턴스에 대해 여러 트리거어(예: 'developer', 'manufacturer', 'vendor')가 존재하는 경우, 이를 복수의 관계 언급으로 생성한다.
• 구조화된 메타데이터를 포함한 152개의 샘플 문서에서 코퍼스를 구성하였으며, AVRO 형식으로 스키마 및 리더 툴과 함께 저장하였다.

실험 결과

연구 질문

• RQ1 B2B 맥락에서의 제품 언급은 문법적 및 의미적 형태로 어떻게 다양하게 나타나며, 경계 검출에 있어 어떤 과제를 야기하는가?
• RQ2 비정형 웹 및 소셜 미디어 텍스트에서 제품 엔티티와 기업-제품 관계를 신뢰성 있게 애너테이션하기 위해 필요한 애너테이션 가이드라인은 무엇인가?
• RQ3 동일한 관계에 대해 여러 트리거어(예: 'produced by', 'manufactured by')가 존재할 경우, 이를 체계적으로 애너테이션하는 방법은 무엇인가?
• RQ4 산업용 제품 엔티티와 관계에 대해 수작업으로 애너테이션된 코퍼스를 구축하는 것이 실현 가능하고 질적 수준이 높은가?
• RQ5 기존 지식 기반 시스템인 Freebase나 DBpedia는 CompanyProvidesProduct 관계를 어느 정도 커버하고 있으며, 그 한계는 무엇인가?

주요 결과

• 제품 언급은 일반 명사구 형태로 자주 나타나며, 높은 문법적 및 의미적 다양성을 보이며, 이로 인해 경계의 모호성이 심각하게 발생한다.
• 전치구나 동반어 등 불필요한 요소들이 제품 언급 내부에 자주 포함되어 정확한 스트링 검출을 어렵게 한다.
• 애너테이션 체계는 완전한 기업명과 약어 간의 공명성 처리 및 동일 관계에 대한 다중 트리거어 처리와 같은 복잡한 케이스를 성공적으로 처리한다.
• 2,191개의 기업 언급, 1,717개의 제품 언급, 379개의 CompanyProvidesProduct 관계 언급을 포함한 152건의 문서로 구성된 초보적 코퍼스가 구축되었다.
• 코퍼스는 재현 가능성과 NLP 파이프라인 통합을 지원하기 위해 AVRO 형식으로 스키마 및 리더 툴과 함께 공개되고 있다.
• 최종 버전에서는 상호 애너테이터 일치도 점수를 보고할 예정이지만, 현재 버전에서는 아직 가용하지 않다.