[논문 리뷰] Towards quantitative measures in applied ontology

Robert Hoehndorf, Michel Dumontier외 1명|arXiv (Cornell University)|2012. 02. 16.

Semantic Web and Ontologies참고 문헌 44인용 수 51

한 줄 요약

이 논문은 적용된 옹오로지 연구가 추상적 철학적 또는 형식적 기준이 아니라 실제 도메인 작업에서의 성능에 기반해 평가되어야 한다고 제안한다. 생물의학 분야의 옹오로지 기반 작업에 정량적 지표—정밀도, 재현율, F-측정치, AUC—를 적용하여 객관적이고 재현 가능하며 비교 가능한 평가를 가능하게 하여 적용된 옹오로지 분야의 엄밀한 연구 방법론을 구축한다.

ABSTRACT

Applied ontology is a relatively new field which aims to apply theories and methods from diverse disciplines such as philosophy, cognitive science, linguistics and formal logics to perform or improve domain-specific tasks. To support the development of effective research methodologies for applied ontology, we critically discuss the question how its research results should be evaluated. We propose that results in applied ontology must be evaluated within their domain of application, based on some ontology-based task within the domain, and discuss quantitative measures which would facilitate the objective evaluation and comparison of research results in applied ontology.

연구 동기 및 목표

• 응용 옹오로지 연구에 대한 표준화되고 객관적인 평가 기준의 부재를 해결하기 위해.
• 옹오로지 연구가 철학적 또는 형식 논리적 근거가 아니라 도메인 특화 작업에서의 성능에 기반해 평가되어야 한다고 주장하기 위해.
• 정밀도, 재현율, F-측정치와 같은 정량적 측정치의 도입을 촉진하여 옹오로지 평가의 재현 가능성과 비교 가능성 확보하기 위해.
• 주관적 또는 정성적 기준이 아닌 임무 기반의 경험적 평가에 기반한 응용 옹오로지 연구 방법론을 수립하기 위해.
• 연구 공동체가 공동 평가 기준을 수용하여 분야를 체계적이고 투명하게 발전시킬 수 있도록 유도하기 위해.

제안 방법

• 텍스트 마이닝, 유전자 기능 예측, 또는 데이터 통합과 같은 특정 도메인 응용에서의 영향을 기반으로 옹오로지 연구를 평가하는 것을 제안한다.
• 정밀도, 재현율, F-측정치, ROC 분석에서의 AUC(ROC 곡선 아래 면적)와 같은 정보 과학 분야에서 널리 사용되는 정량적 지표를 사용할 것을 권장한다.
• 골드 표준 비교와 캄파-통계량을 활용해 전문가 주석과 옹오로지 기반 결과 간의 일致도를 평가할 것을 제안한다.
• 사용자 연구와 자동화된 방법을 활용해 텍스트 정의 품질과 문서화 명확성 등의 기준을 평가할 것을 장려한다.
• OBO 관계 옹오로지에서 공유된 관계를 활용해 옹오로지를 통합하고 골드 표준 대비 추론 성공률을 측정함으로써 상호운용성을 테스트할 것을 제안한다.
• 형식적 일관성보다는 임무 성능에 미치는 영향을 기준으로 옹오로지 설계 패턴과 개발 방법론을 평가할 것을 주장한다.

실험 결과

연구 질문

• RQ1 표준화된 정량적 지표가 부재한 상황에서 응용 옹오로지 연구는 어떻게 객관적으로 평가될 수 있는가?
• RQ2 왜 옹오로지 연구의 실제 영향을 평가하기 위해 철학적 또는 형식 논리 기준에 기반한 평가는 부적절한가?
• RQ3 생물의학 적용 분야에서 다양한 옹오로지 기반 방법을 비교하는 데 사용할 수 있는 정량적 측정치는 무엇인가?
• RQ4 옹오로지의 일관성과 정확성은 도메인 임무에서 측정 가능한 성과 결과와 어떻게 연결될 수 있는가?
• RQ5 문서화, 이름 규칙, 협업 개발과 같은 공동체 기반 기준은 효과적인 평가를 위해 어떤 역할을 하는가?

주요 결과

• 정밀도, 재현율, F-측정치, AUC와 같은 정량적 평가 지표는 응용 분야에서 옹오로지 기반 연구 방법을 객관적으로 비교하는 데 필수적이다.
• 옹오로지 연구 평가는 고립된 상태가 아니라 정의된 임무에서 옹오로지와 응용 시스템의 전체 성능에 기반해 이루어져야 한다.
• 골드 표준과 평가자 간 일致도(예: 캄파-통계량)의 사용은 옹오로지 기반 결과의 신뢰성 있는 경험적 검증을 가능하게 한다.
• 형식적 일관성과 모순의 부재와 같은 기준은 유용하지만, 이는 측정 가능한 임무 성과에 미치는 영향에 의해 정당화되어야 한다.
• OBO 관계 옹오로지에서 공유된 관계를 재사용하는 옹오로지를 통합할 때 추론 성공률을 측정함으로써 옹오로지 간 상호운용성은 정량적으로 평가할 수 있다.
• 정량적 측정치의 도입은 옹오로지 개발 방법론의 체계적 평가를 가능하게 하며, 응용 옹오로지가 과학적 학문으로서 장기적 발전을 이룰 수 있도록 지원한다.