[논문 리뷰] Directions for Explainable Knowledge-Enabled Systems

Shruthi Chari, Daniel M. Gruen외 2명|arXiv (Cornell University)|2020. 03. 17.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 사용자 중심, 맥락 인지형, 증거 확보형 설명을 강조하는 가시성 있는 지식 기반 AI 시스템을 위한 설명 유형의 분류 체계를 제안한다. 신경-기호적 추론, 의미 표현, 분산 원장 기술(DLT)과 같은 기법을 통합하여 AI 설명의 신뢰성, 이해 가능성, 인과관계를 향상시키며, 사용자 요구와 상황적 맥락에 부합하는 하이브리드 시스템의 발전을 이룬다.

ABSTRACT

Interest in the field of Explainable Artificial Intelligence has been growing for decades and has accelerated recently. As Artificial Intelligence models have become more complex, and often more opaque, with the incorporation of complex machine learning techniques, explainability has become more critical. Recently, researchers have been investigating and tackling explainability with a user-centric focus, looking for explanations to consider trustworthiness, comprehensibility, explicit provenance, and context-awareness. In this chapter, we leverage our survey of explanation literature in Artificial Intelligence and closely related fields and use these past efforts to generate a set of explanation types that we feel reflect the expanded needs of explanation for today's artificial intelligence applications. We define each type and provide an example question that would motivate the need for this style of explanation. We believe this set of explanation types will help future system designers in their generation and prioritization of requirements and further help generate explanations that are better aligned to users' and situational needs.

연구 동기 및 목표

• 복잡하고 고위험 분야에서 증가하는 설명 가능한 AI의 필요성을 충족시키기 위해 사용자 이해도, 맥락, 신뢰성에 초점을 맞춘다.
• 기계적 또는 모델 전용 추론에만 의존하는 현재의 AI 설명 접근법의 한계를 규명한다.
• 실제 세계의 AI 응용을 위해 다양한 설명 유형을 통합한 종합적이고 사용자 중심의 설명 프레임워크를 개발한다.
• 인과 추론, 의미 모델링, DLT를 통합하여 증거 확보 및 신뢰성을 높이는 하이브리드 AI 시스템을 발전시킨다.
• 시스템 설계자가 사용자 요구와 상황적 맥락에 따라 설명 유형을 선택하고 우선순위를 정할 수 있는 체계적 방법론을 제공한다.

제안 방법

• 인공지능, 인지과학, 사회과학 분야의 문헌을 종합하여 사용자 맥락과 이해 가능성에 중점을 두고 9종의 설명 유형 분류를 수립한다.
• 신경-기호적 AI 기법을 통합하여 상징적 추론과 기계학습의 해석 가능성성을 결합함으로써 인과적이고 투명한 설명을 가능하게 한다.
• 의미 표현을 활용하여 지식과 설명 구조를 모델링함으로써 맥락 인지형이고 세밀한 설명을 가능하게 한다.
• 분산 원장 기술(DLT)을 적용하여 AI 결정의 기원, 추적 가능성, 신뢰성을 확보하며, 특히 탈중앙화되거나 적대적인 환경에서의 신뢰도를 높인다.
• 의료 정보학(HEALS 프로젝트)과 자율 시스템(UAV, 군집 로봇)의 사례 연구를 통해 실제 환경에서 설명 유형의 유효성을 검증한다.
• 다양한 사용자 요구와 상황적 요구에 부합하기 위해 인과적, 대조적, 반대가정적 등 여러 설명 유형을 조합한 하이브리드 설명 아키텍처를 제안한다.

Figure 1 : A partial conceptual framework mapping explanation types capable of being generated by explainable AI methods to the reasoning employed by users [Image taken from Lim et al. [ 7 ] and Wang et al. [ 8 ] ]. For the full framework see Wang et al. [ 8 ] .

실험 결과

연구 질문

• RQ1 어떤 종류의 설명이 복잡한 AI 시스템에서 사용자 이해도, 신뢰성, 의사결정 지원에 가장 효과적인가?
• RQ2 기계적 모델 추적을 넘어서 사용자 맥락, 선호도, 상황적 요구에 적응할 수 있도록 설명 시스템을 어떻게 설계할 수 있는가?
• RQ3 신경-기호적 AI와 의미 모델링은 설명의 해석 가능성과 일관성을 어떻게 향상시킬 수 있는가?
• RQ4 분산 원장 기술(DLT)은 탈중앙화되거나 적대적인 환경에서 AI 결정의 기원과 신뢰성에 어떻게 기여하는가?
• RQ5 실제 세계의 AI 응용에서 투명성과 사용성의 요구를 동시에 충족시키기 위해 가장 효과적인 설명 유형의 하이브리드 조합은 무엇인가?

주요 결과

• 논문은 사용자 요구와 맥락에 맞게 조정된 인과적, 대조적, 반대가정적, 절차적 등 9종의 구체적인 설명 유형을 식별하고 정의한다.
• 현재의 AI 시스템은 모델 수준의 투명성은 제공하지만, 최종 사용자가 이해하거나 활용할 수 있는 설명을 제공하지 못하는 경우가 많다.
• 다양한 설명 유형(예: 인과적 + 반대가정적)을 조합한 하이브리드 설명 시스템은 인간과 AI의 공동 추론 및 의사결정 지원에 더 효과적이다.
• 분산 원장 기술(DLT)은 AI 결정에 대해 검증 가능하고 변조 불가능한 기원을 제공하여, UAV나 IoT 시스템과 같은 탈중앙화되거나 고위험 환경에서의 신뢰도를 높인다.
• 설명의 의미 표현은 맥락 인지성을 향상시키며, 사용자 프로필과 상황에 따라 설명의 형태와 세밀함을 동적으로 조정할 수 있도록 한다.
• 신경-기호적 방법은 투명하지 않은 모델 행동과 상징적 추론 사이의 격차를 메우며, 도메인 지식에 기반한 이해 가능하고 기반된 설명을 가능하게 한다.

Figure 2 : A representation of Pearl’s cause-effect model [ 32 , 33 ] where $Q=P(Y|do(X))$ , where $X$ has an effect on $Y$ and both depend on Z. Hence, he formulated the overall problem as a Bayesian equation in that $E_{z}=\sum_{z}P(Y|X,Z)P(Z)$ . Pearl provides an intuitive example [ 32 ] of gende