[논문 리뷰] Validating WordNet Meronymy Relations using Adimen-SUMO

Javier Álvez, Itziar González-Dios외 1명|arXiv (Cornell University)|2018. 05. 20.

Natural Language Processing Techniques인용 수 1

한 줄 요약

이 논문은 일阶논리 자동 정리 증명기(ATPs)와 Adimen-SUMO 온톨로지에 기반한 반자동 프레임워크를 제시한다. 이 프레임워크를 통해 저자들은 WordNet의 구성관계를 검증하고, WordNet-SUMO 매핑을 반복적으로 개선하며 온톨로지적 일관성을 수정함으로써, WordNet 구성관계의 검증률을 6%에서 33%로 상승시켰으며, 단 26시간의 수작업으로 F1 점수를 35점 향상시켰다.

ABSTRACT

In this paper, we report on the practical application of a novel approach for validating the knowledge of WordNet using Adimen-SUMO. In particular, this paper focuses on cross-checking the WordNet meronymy relations against the knowledge encoded in Adimen-SUMO. Our validation approach tests a large set of competency questions (CQs), which are derived (semi)-automatically from the knowledge encoded in WordNet, SUMO and their mapping, by applying efficient first-order logic automated theorem provers. Unfortunately, despite of being created manually, these knowledge resources are not free of errors and discrepancies. In consequence, some of the resulting CQs are not plausible according to the knowledge included in Adimen-SUMO. Thus, first we focus on (semi)-automatically improving the alignment between these knowledge resources, and second, we perform a minimal set of corrections in the ontology. Our aim is to minimize the manual effort required for an extensive validation process. We report on the strategies followed, the changes made, the effort needed and its impact when validating the WordNet meronymy relations using improved versions of the mapping and the ontology. Based on the new results, we discuss the implications of the appropriate corrections and the need of future enhancements.

연구 동기 및 목표

• . 논문은 공식 온톨로지에 기반한 자동 검증을 통해 WordNet의 구성관계에 존재하는 일관성 문제를 다루고자 한다.
• . WordNet와 SUMO 간의 매핑을 개선하여 수작업 검증 노력의 감소를 도모하고자 한다.
• . 논리적 추론과 온톨로지 수정을 통해 구성관계(part, member, substance)의 정확도 향상을 목표로 한다.
• . 구조적, 기회적, 온톨로지적 수정이 검증 성능에 끼치는 영향을 평가하고자 한다.
• . 공식 온톨로지와 자동 정리 증명을 활용한 확장 가능하고 반자동적인 어휘 지식 기반 검증 방법을 수립하는 것이 목적이다.

제안 방법

• . 질문 패턴을 사전 정의하여 WordNet, SUMO 및 그 매핑에서 경쟁 질문(CQs)을 반자동으로 생성한다.
• . 일阶논리(FOL) ATPs를 사용하여 이러한 CQ들이 Adimen-SUMO 온톨로지에 대해 논리적 함의 관계를 갖는지 평가한다.
• . 세 단계로 구성된 접근 방식을 적용한다: (1) 비유효 CQ 식별, (2) WordNet-SUMO 매핑 개선, (3) Adimen-SUMO 온톨로지 수정.
• . ATP 실패 분석에 기반해 구조적, 기회적, 온톨로지적 문제에 대해 선택적으로 수작업 수정을 적용한다.
• . 검증 과정은 반복적이다. 각 단계에서 매핑과 온톨로지를 정교화하여 ATP 성공률을 향상시킨다.
• . 기존의 어휘적 및 온톨로지 자원을 활용하여 수동 간섭을 최소화하면서도 논리적 일관성을 극대화한다.

실험 결과

연구 질문

• RQ1 . 자동 정리 증명이 Adimen-SUMO에 기반해 WordNet 구성관계를 얼마나 잘 검증할 수 있는가?
• RQ2 . SUMO와 비교했을 때 WordNet 구성관계의 낮은 검증률의 주요 원인은 무엇인가?
• RQ3 . 반자동 수정 파이프라인은 구성관계 검증률 향상에 얼마나 효과적인가?
• RQ4 . 온톨로지 수준 수정과 매핑 수준 수정이 검증 성능에 미치는 영향은 어떠한가?
• RQ5 . 최소한의 수작업으로도 어휘 지식 기반의 논리적 일관성은 크게 향상시킬 수 있는가?

주요 결과

• . Adimen-SUMO에 기반한 초기 검증률은 단지 6%에 불과하여 심각한 일관성 문제를 시사한다.
• . 반자동 수정 파이프라인을 적용한 후 검증률은 약 33%로 상승하였으며, F1 점수는 35점 향상되었다.
• . 수정 과정에 필요한 수작업은 단 26시간으로, 오류 해결의 높은 효율성을 보여준다.
• . 구조적 및 온톨로지적 수정이 기회적 수정보다 더 큰 영향을 미쳤으며, 특히 온톨로지 변경이 가장 큰 영향을 주었다.
• . 검증되지 않은 관계의 대부분은 체계적인 ATP 제한이 아니라 고립된 매핑 오류 또는 누락된 온톨로지 공리에 기인해 있었다.
• . 타겟팅된 최소한의 수작업 개입이 대규모 어휘-의미 자원의 논리적 일관성을 극적으로 향상시킬 수 있음을 확인했다.