[논문 리뷰] OPIEC: An Open Information Extraction Corpus

Kiril Gashteovski, Sebastian Wanner외 3명|arXiv (Cornell University)|2019. 04. 28.

Natural Language Processing Techniques참고 문헌 32인용 수 8

한 줄 요약

이 논문은 영문 위키백과에서 MinIE와 Stanford CoreNLP를 사용해 추출한, 현재까지 공개된 바 중 가장 큰 오픈 정보 추출(OIE) 코퍼스인 OPIEC를 소개한다. 이 코퍼스에는 3억 4천만 개가 넘는 삼중항과 신뢰도 점수, 출처, 문법적·의미적 주석(예: 공간/시간), 위키백과 링크 등 풍부한 메타데이터가 포함되어 있다. 주요 기여는 OIE가 기존 지식 기반(DBpedia, YAGO 등)과는 상보적인 지식—특히 특정성, 다의어성, 시간적/공간적 주석이 있는 사실—을 상당량 포괄하고 있음을 입증한 것이다. YAGO와의 중복율은 오직 5.6%에 불과하다.

ABSTRACT

Open information extraction (OIE) systems extract relations and their arguments from natural language text in an unsupervised manner. The resulting extractions are a valuable resource for downstream tasks such as knowledge base construction, open question answering, or event schema induction. In this paper, we release, describe, and analyze an OIE corpus called OPIEC, which was extracted from the text of English Wikipedia. OPIEC complements the available OIE resources: It is the largest OIE corpus publicly available to date (over 340M triples) and contains valuable metadata such as provenance information, confidence scores, linguistic annotations, and semantic annotations including spatial and temporal information. We analyze the OPIEC corpus by comparing its content with knowledge bases such as DBpedia or YAGO, which are also based on Wikipedia. We found that most of the facts between entities present in OPIEC cannot be found in DBpedia and/or YAGO, that OIE facts often differ in the level of specificity compared to knowledge base facts, and that OIE open relations are generally highly polysemous. We believe that the OPIEC corpus is a valuable resource for future research on automated knowledge base construction.

연구 동기 및 목표

• 영문 위키백과에서 추출한, 현재까지 공개된 바 중 가장 큰 오픈 정보 추출(OIE) 코퍼스를 구축하고 배포하는 것.
• 각 OIE 삼중항에 대해 신뢰도 점수, 출처, 문법적·의미적 주석(예: 시간, 공간, 방식), 엔티티 연결 등 풍부한 구조적 메타데이터를 제공하는 것.
• OIE에서 추출한 사실과 DBpedia, YAGO 등의 지식 기반 간의 중복성과 보완성을 분석하여, 사실 커버리지, 특정성, 다의어성 측면에서 비교하는 것.
• OPIEC-Clean을 도입하여, 주어와 목적어가 모두 개념 수준의 인자(이름 있는 엔티티 또는 위키백과 연결된 개념)인 1억 4천만 개 삼중항으로 구성된 정제된 서브코퍼스를 제공함으로써, 후속 작업의 사용성을 향상시키는 것.
• OIE 코퍼스가 기존 지식 기반에 포함되지 않은 상당한 양의 고정밀도 지식—특히 시간적·공간적 주석이 있는 지식—을 담고 있음을 입증하는 것.

제안 방법

• OPIEC는 영문 위키백과 전체 텍스트에 MinIE OIE 시스템과 Stanford CoreNLP 파이프라인을 적용하여 구축되었다.
• 각 OIE 삼중항은 출처(원본 문장, 위치), 문법 주석(품사, 어간, 의존성 분석), 의미 주석(극성, 방식, 귀속, 공간, 시간), 엔티티 수준 메타데이터(NER 유형, 위키백과 링크) 등으로 풍부하게 확장되었다.
• 각 추출 결과에 대해 모델의 내부 신뢰도 추정치를 바탕으로 신뢰도 점수가 할당되었다.
• OPIEC-Clean 서브코퍼스는 주어와 목적어가 모두 이름 있는 엔티티, 위키백과 페이지 제목, 또는 직접적으로 위키백과 페이지에 연결된 경우에 한해 삼중항을 필터링하여 생성되었다.
• 지식 기반과의 비교를 위해 OPIEC-Linked 서브코퍼스(의미 해소된 엔티티를 가진 580만 개 삼중항)를 사용하였으며, KB 히트는 유리한 정렬(관계 및 날짜 일치 정밀도 무시)을 통해 식별되었다.
• 100개의 비일치 삼중항에 대한 수작업 평가 결과, 정상적으로 추출된 비율은 60%였으며, 높은 신뢰도 삼중항(점수 > 0.5)의 경우 이는 80%로 상승하여 코퍼스의 품질이 검증되었다.

실험 결과

연구 질문

• RQ1 OIE 코퍼스에 담긴 지식 중 기존 지식 기반(DBpedia, YAGO 등)과 얼마나 겹치는가?
• RQ2 OIE에서 추출한 사실은 구조화된 지식 기반의 사실과 비교해 특정성, 일반성, 다의어성 측면에서 얼마나 다를까?
• RQ3 OIE가 지식 기반(YAGO 등)에 비해 누락된 공간적·시간적 정보는 얼마나 많은가?
• RQ4 OIE는 지식 기반에 존재하지 않는 사실을 얼마나 효과적으로 포착하는가? 이러한 추출의 품질은 어떠한가?
• RQ5 OIE 코퍼스는 자동 지식 기반 구축에 있어 유용하고 보완적인 자원이 될 수 있는가?

주요 결과

• OPIEC는 현재까지 공개된 바 중 가장 큰 OIE 코퍼스로, 3억 4천만 개 이상의 삼중항을 포함하고 있다.
• OIE의 날짜 사실 중 오직 5.6%만(YAGO의 날짜 사실과) 일치하여, 전통적인 지식 기반에서 시간 정보가 상당 부분 누락되어 있음을 시사한다.
• YAGO의 공간·시간 메타사실에 대해, OPIEC-Linked 삼중항 중 13,203개가 KB 히트를 기록했지만, 그 중에서 시간 주석이 있는 것은 2,613개, 공간 주석이 있는 것은 2,629개에 불과하여 중복율이 매우 낮음을 보여준다.
• OPIEC-Linked에서 비일치된 삼중항의 50% 이상이 OPIEC-Clean의 상위 100개 관계 빈도에 해당하여, OIE가 넓고 독립적인 사실 커버리지를 포괄하고 있음을 시사한다.
• 수작업 평가 결과, 무작위로 선택한 비일치 삼중항 중 60%가 정상적으로 추출되었으며, 높은 신뢰도 삼중항(점수 > 0.5)의 경우 이는 80%로 상승하여, 모호함에도 불구하고 강력한 신호 품질을 지닌 것으로 확인되었다.
• 본 연구는 OIE 코퍼스가 시간적·공간적 주석에 있어 특히 풍부한 지식을 담고 있으며, DBpedia 및 YAGO와는 보완적인 관계에 있으며, 종종 더 구체적인 정보를 포함하고 있음을 확인한다.