[논문 리뷰] On the Multiple Roles of Ontologies in Explainable AI

Roberto Confalonieri, Giancarlo Guizzardi|arXiv (Cornell University)|2023. 11. 08.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)에서 온톨로지가 세 가지 핵심 역할을 한다고 제안한다: 일관된 설명을 위한 기준 모델링을 가능하게 하고, 의미적 강화를 통해 일반 지식 추론을 지원하며, 개인화되고 인간 중심인 설명을 위한 지식 복잡도를 관리하는 것이다. 온톨로지를 AI 시스템과 통합함으로써 설명의 투명성, 상호운용성 및 사용자 이해 가능성은 향상되지만, 평가 및 통합 측면에서 여전히 도전 과제가 남아 있다.

ABSTRACT

This paper discusses the different roles that explicit knowledge, in particular ontologies, can play in Explainable AI and in the development of human-centric explainable systems and intelligible explanations. We consider three main perspectives in which ontologies can contribute significantly, namely reference modelling, common-sense reasoning, and knowledge refinement and complexity management. We overview some of the existing approaches in the literature, and we position them according to these three proposed perspectives. The paper concludes by discussing what challenges still need to be addressed to enable ontology-based approaches to explanation and to evaluate their human-understandability and effectiveness.

연구 동기 및 목표

• 온톨로지가 인간 중심의 설명 가능한 인공지능 시스템을 발전시키는 데 기여하는 다중 역할을 특정하고 분석하는 것.
• 기계적 설명에 집중하면서도 인과적 및 맥락 기반 추론를 간과하는 현재 XAI 접근법의 격차를 해결하는 것.
• 기존 XAI 기법들을 참조 모델링, 일반 지식 추론, 지식 정련의 세 가지 개념적 관점에 위치시키는 것.
• 형식적 지식에 기반한 해석 가능하고 추적 가능하며 개인화된 설명을 가능하게 하는 온톨로지의 필요성을 강조하는 것.
• 온톨로지 기반 설명의 인간 이해 가능성과 효과성 평가에 있어 열려 있는 과제를 식별하는 것.

제안 방법

• 기준 모델링, 일반 지식 추론, 지식 정련/복잡도 관리의 세 가지 관점으로 기존 XAI 접근법을 분류하는 것.
• 공동의 개념 모델을 정의하여 설명 생성을 위한 공통 언어로 기능하는 형식적 온톨로지를 사용하는 것.
• 기호적 및 뉴로기호적 AI 시스템과 온톨로지를 통합하여 하이브리드 추론과 설명 확장 기능을 가능하게 하는 것.
• 인과성과 반사적 설명을 지원하기 위해 성향, 인과성, 가치 기반 추론의 온톨로지 표현을 활용하는 것.
• 온톨로지 위에서 논리적 추론을 적용하여 기원과 의미적 일관성을 갖춘 설명을 생성하는 것.
• 사용자 중심 지표와 심리측정 평가를 통한 설명 품질 평가 프레임워크를 제안하는 것.

실험 결과

연구 질문

• RQ1 온톨로지가 XAI에서 설명의 일관성과 재사용 가능성을 향상시키기 위해 공식적인 기준 모델로 어떻게 기능할 수 있는가?
• RQ2 온톨로지가 AI 시스템에서 일반 지식 추론을 어떻게 향상시키고, 인과적 또는 반사적 설명을 지원할 수 있는가?
• RQ3 온톨로지가 지식 복잡도를 어떻게 관리하여 개인화되고 사용자 적응형 설명을 가능하게 할 수 있는가?
• RQ4 온톨로지 기반 설명의 인간 이해 가능성과 효과성 평가에 있어 주요 과제는 무엇인가?
• RQ5 기초 온톨로지와 도메인 온톨로지를 기존 XAI 파이프라인에 어떻게 통합하여 투명성과 신뢰도를 향상시킬 수 있는가?

주요 결과

• 온톨로지는 다양한 도메인과 시스템 간에 설명의 상호운용성과 재사용 가능성을 향상시키는 공식적이고 공동의 기준 모델을 제공한다.
• 구조화된 지식 위에서 논리적 추론을 가능하게 함으로써 온톨로지는 블랙박스 모델 행동을 넘어서는 의미적으로 풍부하고 맥락 인식이 가능한 설명 생성을 지원한다.
• 온톨로지와 AI 모델의 통합은 하이브리드 추론을 지원하여 결정의 투명성과 추적 가능성을 향상시킨다.
• 온톨로지는 인과 관계와 가치 기반 추론의 모델링을 가능하게 하여 윤리적 및 도메인 특화 원칙에 기반한 설명을 가능하게 한다.
• 잠재력은 크지만, 현재의 접근법은 온톨로지 기반 설명의 인간 이해 가능성과 인과적 효과성 평가에 대해 공감대가 부족하다.
• 기초 온톨로지와 도메인 온톨로지를 XAI 시스템에 통합하는 데 있어 주요 과제가 남아 있으며, 최종 사용자가 관리하고 이해할 수 있는 설명을 확보하는 데에도 도전 과제가 있다.