[논문 리뷰] Trepan Reloaded: A Knowledge-driven Approach to Explaining Artificial Neural Networks

Roberto Confalonieri, Tillman Weyde외 2명|arXiv (Cornell University)|2019. 06. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 19

한 줄 요약

이 논문은 인공 신경망의 글로벌 사후 해석에 대한 이해 가능성을 향상시키기 위해 도메인 특화 온톨로지 통합을 통해 Trepan 알고리즘을 지식 기반으로 확장한 Trepan Reloaded를 제안한다. 이 방법은 모델의 정밀도나 정확도를 크게 훼손하지 않으면서 금융 및 의료 분야에서 사용자 이해도를 향상시킨다.

ABSTRACT

Explainability in Artificial Intelligence has been revived as a topic of active research by the need of conveying safety and trust to users in the `how' and `why' of automated decision-making. Whilst a plethora of approaches have been developed for post-hoc explainability, only a few focus on how to use domain knowledge, and how this influences the understandability of global explanations from the users' perspective. In this paper, we show how ontologies help the understandability of global post-hoc explanations, presented in the form of symbolic models. In particular, we build on Trepan, an algorithm that explains artificial neural networks by means of decision trees, and we extend it to include ontologies modeling domain knowledge in the process of generating explanations. We present the results of a user study that measures the understandability of decision trees using a syntactic complexity measure, and through time and accuracy of responses as well as reported user confidence and understandability. The user study considers domains where explanations are critical, namely, in finance and medicine. The results show that decision trees generated with our algorithm, taking into account domain knowledge, are more understandable than those generated by standard Trepan without the use of ontologies.

연구 동기 및 목표

• 해석 가능한 AI 분야에서 도메인 지식 통합을 통해 설명의 이해 가능성을 향상시키는 데 발생하는 격차를 보완하기 위해.
• 의사결정 트리 생성 과정에서 온톨로지를 사용할 경우 블랙박스 모델 설명에 대한 사용자 이해도가 향상되는지 조사하기 위해.
• 온톨로지 기반 설명이 고위험 도메인에서 사용자 성과, 자신감 및 인식된 이해 가능성에 미치는 영향을 평가하기 위해.
• 서rogate 의사결정 트리의 정밀도와 정확도를 유지하면서 의미적 풍부화를 통해 해석 가능성성을 향상시키기 위해.

제안 방법

• 사전 정의된 온톨로지에서 더 일반적인 개념과 연결된 특징을 우선적으로 선택하도록 분할 선택 로직을 수정하여 원래 Trepan 알고리즘을 도메인 지식 통합을 고려해 확장한다.
• 온톨로지를 사용해 의사결정 트리 노드에 의미 정보를 부여함으로써 상징적 설명의 해석 가능성성을 향상시킨다.
• 생성된 의사결정 트리의 기술적 이해 가능성성을 평가하기 위해 문법적 복잡도 측정법을 적용한다.
• 온톨로지 통합 여부에 따라 생성된 의사결정 트리를 비교하는 사용자 연구를 실시하며, 반응 시간, 정확도, 자신감 및 자가 보고된 이해 가능성도를 측정한다.
• 설명의 명확성이 신뢰와 의사결정에 중요한 영향을 미치는 고위험 도메인인 금융 및 의료 분야에 집중한다.
• 실제 사용자를 대상으로 통제된 실험 설계를 통해 온톨로지 기반 설명의 인지적 및 지각적 영향을 평가한다.

실험 결과

연구 질문

• RQ1 신경망에서 생성된 글로벌 사후 해석에 도메인 지식을 온톨로지를 통해 통합할 경우 이해 가능성이 향상되는가?
• RQ2 온톨로지 기반 특징 선택은 의사결정 트리의 문법적 복잡도와 인지 부하에 어떤 영향을 미치는가?
• RQ3 온톨로지를 활용할 경우 사용자의 정확도, 반응 시간 및 자가 보고된 자신감은 어느 정도 향상되는가?
• RQ4 온톨로지 기반 설명은 기존 Trepan으로 생성된 트리와 비교해 높은 정밀도와 정확도를 유지할 수 있는가?

주요 결과

• 도메인 온톨로지를 통합한 Trepan Reloaded로 생성된 의사결정 트리는 사용자 보고된 이해 가능성도와 자신감 측면에서 표준 Trepan보다 유의미하게 더 이해하기 쉬운 것으로 나타났다.
• 온톨로지 기반 의미 정보가 포함된 설명을 사용할 경우 사용자들이 질문에 더 빠르고 정확하게 응답했으며, 이는 인지 부하 감소를 시사한다.
• 온톨로지를 사용할 경우 의사결정 트리의 문법적 복잡도가 낮아져 구조적 명확성과 가독성이 향상된 것으로 나타났다.
• 서rogate 의사결정 트리의 정확도와 정밀도를 원래 신경망과 거의 동일하게 유지하면서도 이해 가능성이 향상된 것으로 확인되었다.
• 결과적으로 온톨로지 통합은 모델 성능을 희생시키지 않고 설명 품질을 향상시키며, 특히 의료 및 금융과 같은 고위험 도메인에서 효과적임을 입증했다.
• 연구는 온톨로지를 통해 체계화된 도메인 지식이 더 해석 가능하고 사용자 友好的한 설명을 만드는 데 핵심적인 역할을 한다고 확인했다.