[논문 리뷰] Towards a Characterization of Explainable Systems

Dimitri Bohlender, Maximilian A. Köhl|arXiv (Cornell University)|2019. 01. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 1인용 수 13

한 줄 요약

이 논문은 설명 가능성(Explainability)을 맥락에 따라 달라지는 것으로 정의하고, 설명, 대상 집단, 표현 방식 간의 상호작용에 기반하여 설명 가능성 시스템에 대한 개념적 프레임워크를 제안한다. 설명 가능성 접근법을 분류, 비교, 평가할 수 있도록 통합된 용어 체계를 도입하며, 설명 가능성은 절대적인 것이 아니라 특정 측면, 청중, 표현 방식에 상대적임을 강조함으로써 소프트웨어 및 사이버-물리 시스템에서 정밀한 요구사항과 설계 원칙을 가능하게 한다.

ABSTRACT

Building software-driven systems that are easily understood becomes a challenge, with their ever-increasing complexity and autonomy. Accordingly, recent research efforts strive to aid in designing explainable systems. Nevertheless, a common notion of what it takes for a system to be explainable is still missing. To address this problem, we propose a characterization of explainable systems that consolidates existing research. By providing a unified terminology, we lay a basis for the classification of both existing and future research, and the formulation of precise requirements towards such systems.

연구 동기 및 목표

• 소프트웨어 및 사이버-물리 시스템에서 설명 가능성 시스템에 대한 공통 개념적 기반의 부족을 해결하기 위해.
• 공통된 용어 체계와 개념적 프레임워크를 수립하여 다양한 설명 가능성 연구를 통합하기 위해.
• 설명이 시스템의 특정 측면, 대상 집단, 표현 형태와 어떻게 체계적으로 관련되는지 명확히 하기 위해.
• 설명 가능성을 소프트웨어 공학 및 요구사항 공학에서 비기능적 요구사항으로 위치지키기 위해.
• 구조화된 특성화를 통해 기존 및 향후 설명 가능성 접근법의 분류, 비교, 평가를 가능하게 하기 위해.

제안 방법

• 설명을 특정 시스템 측면(X, the explanandum)을 이해할 수 있도록 대상 집단(G)의 대표자인 대상자(A)가 처리할 수 있는 표현(E)으로서의 공식적 특성화를 제안한다.
• 세 가지 핵심 차원을 도입: 설명 대상(explanandum, 무엇이 설명되는가), 대상 집단(target group, 누가 이해가 필요한가), 표현 방식(representation, 설명이 어떻게 전달되는가).
• 철학, 인지과학, 소프트웨어 공학 분야의 기존 개념을 활용하여 이 프레임워크를 기존 이론에 기반시킨다.
• 실제 사례인 고속도로를 이탈하는 자동차 내비게이션 시스템을 적용하여 설명이 사용자 혼란을 어떻게 해결할 수 있는지 설명한다.
• 제안된 차원을 기반으로 기존의 설명 가능성 AI 및 소프트웨어 공학 연구를 분류하여, 다양한 접근법이 이 프레임워크와 어떻게 부합하는지 보여준다.
• 설명 가능성을 비기능적 요구사항으로 위치지정하며, 요구사항 공학 및 소프트웨어 설계 과정에 통합하기 위한 지침을 제안한다.

실험 결과

연구 질문

• RQ1 소프트웨어 기반 및 사이버-물리 시스템의 맥락에서 유효한 설명은 무엇인가?
• RQ2 다양한 시스템 측면, 대상 집단, 표현 형태 간에 설명 가능성을 어떻게 체계적으로 특성화할 수 있는가?
• RQ3 통합된 개념적 프레임워크를 통해 기존의 설명 가능성 AI 및 소프트웨어 공학 연구를 어떻게 분류하고 비교할 수 있는가?
• RQ4 소프트웨어 개발 및 요구사항 공학에서 설명 가능성을 비기능적 요구사항으로 어떻게 다룰 수 있는가?
• RQ5 설명 가능성이 절대적인 것이 아니라 상대적인 것이 시스템 설계 및 평가에 미치는 영향은 무엇인가?

주요 결과

• 설명 가능성은 시스템의 절대적 성질이 아니라 특정 측면(explananda), 대상 집단, 표현 형태에 상대적인 것이다.
• 제안된 특성화를 통해 설명 대상, 대상 집단, 표현 형태의 세 차원을 기반으로 기존의 설명 가능성 접근법을 체계적으로 분류하고 비교할 수 있다.
• 설명은 대상 집단의 대표자가 표현을 처리하여 설명 대상(explanandum)을 이해할 수 있을 때만 효과적이다.
• 이 프레임워크는 설명 가능성을 비기능적 요구사항으로 간주함으로써 소프트웨어 공학에 통합할 수 있도록 지원하며, 요구사항 공학 및 시스템 설계에 영향을 미친다.
• 특성화는 현재 많은 XAI 접근법이 전문가를 대상으로 설계되어 있으며 일반 사용자를 충족시키지 못함을 드러내며, 사용자 중심의 설명 설계가 필요함을 시사한다.
• 향후 연구는 맥락 기반의 설명 품질(예: 정확도, 신뢰성 등)을 정의하고, 분야별로 설명 가능성 수준에 대한 인증 제도를 개발하는 데 중점을 두어야 한다.