[논문 리뷰] FOCA: A Methodology for Ontology Evaluation

Judson Bandeira, Ig Ibert Bittencourt외 2명|arXiv (Cornell University)|2016. 12. 10.

Semantic Web and Ontologies참고 문헌 17인용 수 42

한 줄 요약

FOCA는 지식 표현 역할과 온톨로지 유형에 맞게 조정된 목표-질문-측정(GQM) 접근법을 사용하여 온톨로지 품질을 평가하는 체계적이고 단계적인 방법론이다. 질문지와 베타 회귀 모델을 통해 0에서 1 사이의 점수로 온톨로지 품질을 정량화함으로써 평가의 주관성과 평가 노력의 양을 크게 감소시키며, 전문가에 의존하지 않는 일관된 평가를 가능하게 한다.

ABSTRACT

Modeling an ontology is a hard and time-consuming task. Although methodologies are useful for ontologists to create good ontologies, they do not help with the task of evaluating the quality of the ontology to be reused. For these reasons, it is imperative to evaluate the quality of the ontology after constructing it or before reusing it. Few studies usually present only a set of criteria and questions, but no guidelines to evaluate the ontology. The effort to evaluate an ontology is very high as there is a huge dependence on the evaluator's expertise to understand the criteria and questions in depth. Moreover, the evaluation is still very subjective. This study presents a novel methodology for ontology evaluation, taking into account three fundamental principles: i) it is based on the Goal, Question, Metric approach for empirical evaluation; ii) the goals of the methodologies are based on the roles of knowledge representations combined with specific evaluation criteria; iii) each ontology is evaluated according to the type of ontology. The methodology was empirically evaluated using different ontologists and ontologies of the same domain. The main contributions of this study are: i) defining a step-by-step approach to evaluate the quality of an ontology; ii) proposing an evaluation based on the roles of knowledge representations; iii) the explicit difference of the evaluation according to the type of the ontology iii) a questionnaire to evaluate the ontologies; iv) a statistical model that automatically calculates the quality of the ontologies.

연구 동기 및 목표

• 현재 평가자가 전문 지식에 크게 의존하고 주관적인 평가가 지배하는 바, 표준화되고 실행 가능한 온톨로지 품질 평가 지침의 부족을 해결하기 위해.
• 반복 가능하고 단계적인 프로세스를 제공함으로써 온톨로지 평가의 높은 인지적 부담과 시간 소모를 줄이기 위해.
• 다양한 유형(예: 도메인, 작업, 응용)의 온톨로지에 대해 객관적이고 수치적으로 평가 가능한 품질 평가를 통해 재사용성을 향상시키기 위해.
• 다양한 경험 수준의 평가자 간의 견해 차이를 줄이기 위해 정의된 역할과 기준을 중심으로 평가를 체계화하기 위해.
• 평가자 응답 기반으로 자동으로 품질 점수를 계산하는 통계 모델을 개발하여 온톨로지 간 수치적 비교를 가능하게 하기 위해.

제안 방법

• 이 방법론은 지식 표현의 다섯 가지 역할(예: 서술, 설명, 예측 등)에서 유도된 구체적 목표를 바탕으로 목표-질문-측정(GQM) 프레임워크를 적용한다.
• 구아리노(Guarino)의 유형 분류에 따라 온톨로지를 도메인, 작업, 응용의 세 유형으로 분류하고, 각 유형에 맞게 평가 기준을 조정한다.
• 표준화된 질문지(13개 질문)를 사용하여 각 온톨로지를 평가하며, 질문들은 브란데치치(Vrandečić, 2009)의 기준을 명확성과 관련성에 맞게 조정하여 설계된다.
• 평가자 응답을 집계하여, 0에서 1 사이의 정규화된 품질 점수를 산출하는 데 사용되는 베타 회귀 모델을 학습시킨다.
• 잔차 분석을 통해 모델을 검증하였으며, 잔차가 0 주위에 무작위로 산포되어 있어 경험적 데이터에 잘 적합함을 확인하였다.
• 이 과정은 세 가지 주요 단계로 구성된다: (1) 온톨로지 유형 확인, (2) 질문에 대한 반복적 응답을 통한 GQM 적용, (3) 통계 모델을 이용한 품질 점수 계산.

실험 결과

연구 질문

• RQ1 체계적이고 단계적인 방법론이 온톨로지 평가의 주관성과 평가자 의존도를 줄일 수 있는가?
• RQ2 전문가 평가 기반으로 온톨로지의 수치적 품질 점수를 계산할 수 있는 통계적으로 타당한 모델을 구축할 수 있는가?
• RQ3 FOCA 방법론이 경험 수준이 다른 평가자 간에도 일관된 품질 점수를 산출하는가?
• RQ4 베타 회귀 모델이 평가자 응답에서 수집된 경험적 데이터에 잘 적합한가?
• RQ5 이 방법론은 다양한 온톨로지와 평가 환경에 일반화될 수 있는가?

주요 결과

• FOCA 방법론은 정의된 기준을 따라 평가자에게 안내하는 표준화되고 반복 가능한 프로세스를 제공함으로써 평가의 주관성을 크게 감소시켰다.
• 평가자 일관성 향상: 경험 많은 평가자와 경험이 적은 평가자 모두 FOCA를 사용할 경우 유사한 품질 점수를 산출하여 전문 지식 의존도가 감소함을 확인하였다.
• 베타 회귀 모델은 잔차도 분석을 통해 통계적으로 타당한 적합도를 보였으며, 잔차가 0 주위에 무작위로 산포되어 있어 모델의 신뢰성을 뒷받침하였다.
• 이 방법론은 0에서 1 사이의 정밀하고 정규화된 품질 점수를 산출할 수 있어, 다양한 온톨로지 간 객관적 비교를 가능하게 하였다.
• 실증 연구를 통해 소규모 샘플(4개의 Lattes 도메인 온톨로지)을 대상으로도 이 방법론이 다양한 평가자와 온톨로지에 대해 효과적으로 작동함을 확인하였다.
• 모델은 전문 지식 수준을 명시적인 변수로 포함하지 않았지만, 평가자 응답 패턴을 통해 인간의 표현 방식을 암묵적으로 반영하고 있었다.