[논문 리뷰] Black-box Testing of First-Order Logic Ontologies Using WordNet

Javier Álvez, Paqui Lucio외 1명|arXiv (Cornell University)|2017. 05. 29.

Natural Language Processing Techniques인용 수 3

한 줄 요약

이 논문은 SUMO 기반의 일阶 논리(FOL) 온톨로지에 대한 새로운 블랙박스 테스팅 방법론을 제시한다. WordNet과 그에 대한 매핑을 활용하여 15,000개 이상의 능력 질문(CQs)을 자동으로 생성한다. 이 방법론은 FOL 온톨로지 번역, SUMO-WordNet 매핑, 그리고 자동 정리 증명기(ATP) 성능의 자동 평가를 가능하게 하여 기존 시스템의 지식 격차와 추론 한계를 드러낸다.

ABSTRACT

Artificial Intelligence aims to provide computer programs with commonsense knowledge to reason about our world. This paper offers a new practical approach towards automated commonsense reasoning with first-order logic (FOL) ontologies. We propose a new black-box testing methodology of FOL SUMO-based ontologies by exploiting WordNet and its mapping into SUMO. Our proposal includes a method for the (semi-)automatic creation of a very large benchmark of competency questions and a procedure for its automated evaluation by using automated theorem provers (ATPs). Applying different quality criteria, our testing proposal enables a successful evaluation of a) the competency of several translations of SUMO into FOL and b) the performance of various automated ATPs. Finally, we also provide a fine-grained and complete analysis of the commonsense reasoning competency of current FOL SUMO-based ontologies.

연구 동기 및 목표

• 일반 지식 추론을 위한 FOL 온톨로지에 대한 확장 가능하고 자동화된 평가 방법의 부족을 해결하기 위해.
• 온톨로지 검증을 위한 능력 질문(CQs)을 수작업으로 생성하는 데 드는 노고를 줄이기 위해.
• SUMO 기반의 FOL 온톨로지의 추론 능력과 자동 정리 증명기(ATPs)의 성능을 평가하기 위해.
• SUMO-WordNet 매핑의 품질과 정확성, 그리고 자동 추론에 미치는 영향을 평가하기 위해.
• 일반 지식 추론 분야에서 FOL 온톨로지와 ATP를 평가하기 위한 대규모로 재사용 가능한 벤치마크를 제공하기 위해.

제안 방법

• WordNet의 동의어 집합(synsets)과 의미 관계(예: 결과, 하위종류 관계)를 활용하여 FOL에서 형식화된 추측을 생성한다.
• 기존에 존재하는 SUMO-WordNet 매핑을 활용하여 하위집합 관계를 통해 WordNet 동의어 집합을 SUMO 개념으로 변환한다.
• 표준화된 질문 패턴의 소량을 적용하여 의미 관계에서 체계적으로 CQ 쌍(한 개는 참, 한 개는 거짓)을 유도한다.
• WordNet 관계와 SUMO 매핑을 기반으로 자동으로 7,500개의 CQ 쌍(총 15,000개)을 생성한다.
• 일致한 시간 및 메모리 제약 조건을 적용하여 각 CQ의 증명 가능성을 자동 정리 증명기(ATPs)로 평가한다.
• ATP 증명 분석을 통해 축약 공리 사용, 커버리지, 지식 격차나 추론 한계로 인한 해결되지 않은 문제를 식별한다.

실험 결과

연구 질문

• RQ1 WordNet과 그에 대한 SUMO 매핑을 체계적으로 활용하여 FOL 온톨로지용 대규모 자동 벤치마크 형태의 능력 질문을 생성할 수 있는가?
• RQ2 다양한 FOL 번역 방식(SUMO-TPTP, Adimen-SUMO 등)은 생성된 CQ를 기반으로 한 추론에서 얼마나 효과적인가?
• RQ3 SUMO-WordNet 매핑은 FOL 온톨로지에서 올바른 일반 지식 추론을 얼마나 잘 지원하는가?
• RQ4 동일한 CQ 벤치마크를 평가할 때 다양한 ATP의 강점과 한계는 무엇인가?
• RQ5 ATP에서 발생하는 추론 실패 유형은 무엇이며, 이는 누락된 지식 때문이냐, 본질적인 추론 한계 때문이냐?

주요 결과

• 이 방법론은 성공적으로 7,500개의 CQ 쌍(총 15,000개)을 생성하여, SUMO 기반 FOL 온톨로지에 대해 알려진 바 가장 큰 벤치마크를 형성하였다.
• 지식이 올바르고 매핑이 정확할 경우 ATP는 문제의 95%를 해결하여 강력한 기준 성능을 보였다.
• 정확한 매핑가 존재하는 25개의 미해결 문제 중 22개는 온톨로지 내 누락된 공리로 인한 것으로 나타나 지식 격차를 드러냈다.
• 세 개의 문제는 이론적으로는 해결 가능했지만 자원 제약 내에서 ATP가 증명하지 못해, 올바른 지식에도 불구하고 추론 한계가 있음을 시사했다.
• 수동 평가를 통해 매핑에 결함이 발견되었으며, 특히 형용사 처리에서 문제가 있었고, ATP 성능에서 거짓 음성 결과가 확인되었다.
• 벤치마크를 통해 ATP 행동의 세밀한 분석이 가능해졌으며, 각 시스템이 동일한 제약 조건 하에서 서로 다른 문제 부분집합을 해결하였다.