[논문 리뷰] How, What and Why to test an ontology

Jennifer D. Warrender, Phillip Lord|arXiv (Cornell University)|2015. 05. 15.

Semantic Web and Ontologies참고 문헌 9인용 수 5

한 줄 요약

이 논문은 Tawny-OWL 라이브러리를 사용하여 소프트웨어 공학 테스팅 관행을 OWL 온톨로지 개발에 적응시켜 체계적인 온톨로지 테스팅 프레임워크를 제시한다. 소프트웨어 기반, 온톨로지 기반, 리asoner 기반, 프로브 기반 테스트의 네 가지 유형을 포함하는 새로운 테스트 분류 체계를 도입하며, 철저하고 자동화된 테스팅이 온톨로지의 품질, 유지보수성, 민첩성을 향상시킨다는 것을 입증한다. 이 프레임워크는 Karyotype 온톨로지 프로젝트에서 지속적 통합을 통해 3,088개의 테스트를 적용하였다.

ABSTRACT

Ontology development relates to software development in that they both involve the production of formal computational knowledge. It is possible, therefore, that some of the techniques used in software engineering could also be used for ontologies; for example, in software engineering testing is a well-established process, and part of many different methodologies. The application of testing to ontologies, therefore, seems attractive. The Karyotype Ontology is developed using the novel Tawny-OWL library. This provides a fully programmatic environment for ontology development, which includes a complete test harness. In this paper, we describe how we have used this harness to build an extensive series of tests as well as used a commodity continuous integration system to link testing deeply into our development process; this environment, is applicable to any OWL ontology whether written using Tawny-OWL or not. Moreover, we present a novel analysis of our tests, introducing a new classification of what our different tests are. For each class of test, we describe why we use these tests, also by comparison to software tests. We believe that this systematic comparison between ontology and software development will help us move to a more agile form of ontology development.

연구 동기 및 목표

• 온톨로지 개발에서 체계적인 테스팅의 부족을 해결하기 위해 소프트웨어 공학 테스팅 관행을 적응 적용하기 위해.
• 반복 가능하고 자동화된 테스팅을 통해 온톨로지의 품질, 일관성, 유지보수성을 향상시키기 위해.
• Karyotype 온톨로지 외에도 어떤 OWL 온톨로지에도 적용 가능한 일반적이고 재사용 가능한 테스팅 방법론을 개발하기 위해.
• 지속적 통합과 프로그래밍 기반 테스트 정의를 통해 테스팅을 온톨로지 개발 라이프사이클에 깊이 통합하기 위해.
• 소프트웨어 수준, 온톨로지 수준, 추론 수준의 검증을 명확히 구분할 수 있는 의미 있는 온톨로지 테스트 분류를 제공하기 위해.

제안 방법

• OWL API 기반으로 구축된 Clojure 기반의 프로그래밍 기반 온톨로지 개발 환경인 Tawny-OWL 라이브러리를 사용하여.
• Tawny-OWL 내부에 단위 테스트, 통합 테스트, 기능 테스트를 지원하는 포괄적인 테스트 하드웨어를 구현하여.
• 구조화된 데이터(예: 스프레드시트)를 정의하여 프로그래밍적으로 문장으로 변환하는 방식으로 테스트를 정의하여.
• 네 가지 유형의 테스트로 분류: 소프트웨어 기반(코드 수준), 온톨로지 기반(의미적 정확성), 리asoner 기반(논리적 일관성), 프로브 기반(행동 검증).
• TravisCI와 통합하여 지속적 통합을 구현하여, 고립된 환경에서 자동으로 테스트가 실행되도록 하여.
• Tawny-OWL의 확장성 기능을 활용하여 문법적 쿼리(tawny.query를 통한) 및 추론 시간 성능 테스트를 지원하여.

실험 결과

연구 질문

• RQ1 소프트웨어 공학 테스팅 관행을 어떻게 적응시켜 온톨로지 개발의 품질과 신뢰성을 향상시킬 수 있는가?
• RQ2 강력한 온톨로지 개발을 위해 필요한 테스트의 고유한 유형은 무엇이며, 목적과 구현 방식에서 어떻게 다를 수 있는가?
• RQ3 프로그래밍 기반, 테스트 주도적 접근 방식이 온톨로지 개발의 민첩성, 유지보수성, 일관성 향상에 기여할 수 있는가?
• RQ4 지속적 통합과 자동화된 테스팅이 복잡한 구조나 의존성 관계를 가진 OWL 온톨로지에 효과적으로 적용될 수 있는가?
• RQ5 현재 온톨로지 테스팅 도구의 한계는 무엇이며, Tawny-OWL와 같은 확장 가능한 프레임워크를 통해 이를 어떻게 보완할 수 있는가?

주요 결과

• Karyotype 온톨로지 프로젝트는 추론 행동에 중점을 둔 2,273개의 테스트와 온톨로지 정확성에 중점을 둔 759개의 테스트를 포함하여 총 3,088개의 포괄적인 테스트 세트를 달성하였다.
• 소프트웨어 기반, 온톨로지 기반, 리asoner 기반, 프로브 기반의 네 가지 테스트 분류 체계는 테스트 목표를 명확하고 실천 가능한 방식으로 분리하는 데 효과적인 프레임워크를 제공한다.
• 테스트 정의는 성공적으로 스프레드시트에 인코딩되어, 온톨로지 전반에서 신속하고 체계적인 테스트 작성과 재사용을 가능하게 하였다.
• TravisCI를 통한 지속적 통합은 일관되고 반복 가능한 테스팅을 보장하여 신뢰성 향상과 버그 복귀 리스크 감소에 기여하였다.
• 테스트 환경은 온톨로지 형식에서 분리되어 있어, 개발 도구에 관계없이 어떤 OWL 온톨로지에도 적용 가능하다.
• 논리적 및 문법적 테스팅에 강력한 지원을 제공하지만, 저자들은 현재 온톨로지 도구에서 커버리지 메트릭스와 성능 벤치마킹이 여전히 미흡하게 개발되어 있음을 지적하며, 이는 향후 개선이 필요한 영역으로 간주된다.