[논문 리뷰] Foundations of Explainable Knowledge-Enabled Systems

Shruthi Chari, Daniel M. Gruen외 2명|arXiv (Cornell University)|2020. 03. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 68인용 수 15

한 줄 요약

이 논문은 전문가 시스템, 인지 보조자, 의미 웹 기술, 기계 학습 분야의 역사를 종합하여 설명 가능한 지식 기반 시스템을 위한 통합 프레임워크를 제안한다. 사용자 및 맥락 인식 기반의 설명과 설명 가능한 지식 기반 시스템의 정의를 도입하며, 추적 가능성, 근원성, 적응형 설명 생성을 강조하여 다양한 도메인과 사용자 역할에서 인공지능 시스템의 신뢰성과 사용성 향상에 기여한다.

ABSTRACT

Explainability has been an important goal since the early days of Artificial Intelligence. Several approaches for producing explanations have been developed. However, many of these approaches were tightly coupled with the capabilities of the artificial intelligence systems at the time. With the proliferation of AI-enabled systems in sometimes critical settings, there is a need for them to be explainable to end-users and decision-makers. We present a historical overview of explainable artificial intelligence systems, with a focus on knowledge-enabled systems, spanning the expert systems, cognitive assistants, semantic applications, and machine learning domains. Additionally, borrowing from the strengths of past approaches and identifying gaps needed to make explanations user- and context-focused, we propose new definitions for explanations and explainable knowledge-enabled systems.

연구 동기 및 목표

• 의료 및 금융과 같은 고위험 도메인에 구현된 인공지능 시스템에서의 설명 가능성 증가 수요를 해결하기 위해.
• 사용자 맥락, 역할, 사전 지식을 고려하지 못하는 기존 설명 가능성 접근 방식의 한계를 규명하기 위해.
• 전문가 시스템, 의미 웹, 인지 보조자, 기계 학습을 포함한 다양한 역사적 접근 방식을 통합하여 일관된 프레임워크를 마련하기 위해.
• 사용자 중심 시각에서 '설명'과 '설명 가능한 지식 기반 시스템'을 재정의하여 맥락 인식, 개인화, 근원성을 강조하기 위해.
• 해석 가능성, 지식 표현, 적응형 설명 생성을 통합하는 차세대 하이브리드 인공지능 시스템의 기반을 마련하기 위해.

제안 방법

• 전문가 시스템, 인지 보조자, 의미 웹 응용, 기계 학습 분야에서의 설명 가능한 인공지능에 대한 역사를 종합적으로 검토한다.
• 일般적인 시스템 성질인 투명성과 특정 결정의 정당화를 위한 설명 가능성 간의 차이를 명확히 하여 개념적 기초를 다진다.
• 사용자 맥락, 역할, 정서적 모델 구성에 중점을 두어 설명과 설명 가능한 지식 기반 시스템의 새로운 정의를 제안한다.
• 과거 시스템의 강점을 통합한다: 추적 기반 설명(전문가 시스템), 근원성 모델링(의미 웹), 모듈화된 작업 기반 설명(인지 보조자), 모델 무관 해석 가능성(LIME, SHAP).
• 사용자 특화된 필요와 데이터 유래를 반영하는 '근원성 인식' 및 '맥락 인식' 설명의 개념을 도입한다.
• 지식 그래프와 인과 추론을 활용하여 복잡한 블랙박스 모델에 대해 직관적이고 해석 가능한 설명을 제공한다.

Figure 1 : AIR Justification or Explanations View: Once a user clicks the “Why?” button, they will see a description appear in the “Because” box, and the premises that support the justification appear in the “Premises” box. When the user clicks the “More Information” button, the descriptions corresp

실험 결과

연구 질문

• RQ1 어떻게 하면 인공지능 시스템의 설명을 다양한 사용자 역할(예: 임상의, 환자, 관리자)에 맞게 맥락 인식 및 개인화할 수 있는가?
• RQ2 투명성과 설명 가능성의 핵심적 차이점은 무엇이며, 지식 기반 시스템에서 설명 가능성은 어떻게 체계적으로 정의할 수 있는가?
• RQ3 과거 인공지능 시스템(예: 규칙 기반 추적, 근원성 모델링)에서 유래한 기초 구성 요소들은 현대 하이브리드 인공지능 시스템에 어떻게 통합되어 설명 가능성 향상에 기여할 수 있는가?
• RQ4 지식 그래프와 인과 모델은 블랙박스 기계 학습 모델의 해석 가능성에 어떻게 기여할 수 있는가?
• RQ5 현재의 설명 가능성 기법은 사용자 정서적 모델 형성 및 공정성 문제를 다루는 데에서 어떤 한계를 지니는가?

주요 결과

• 논문은 투명성—일般적인 시스템 성질—과 설명 가능성—특정 결정의 맥락적 정당화 능력—간의 명확한 구분을 수립한다.
• 사용자 중심의 설명은 신뢰 구축, 효과적인 협업, 사용자 및 시스템의 정서적 모델 형성 지원에 필수적이다.
• 과거 시스템 중 전문가 시스템은 강력한 추적 기반 설명을 제공한 반면, 의미 웹 기술은 증거와 추론의 세밀한 근원성 모델링을 가능하게 했다.
• 인지 보조자는 모듈화된 작업 기반 설명 생성을 통해 선택적이고 적응형 설명 제공을 가능하게 했다.
• LIME 및 SHAP와 같은 모델 무관 방법은 블랙박스 모델의 해석 가능성을 향상시키지만, 인과 추론과 사용자 특화 맥락을 포괄하지 못하는 한계가 있다.
• 지식 그래프, 인과 추론, 설명 가능성 위한 분류 체계 검증의 통합은 하이브리드 인공지능 시스템의 해석 가능성과 신뢰성 향상에 상당한 기여를 한다.

Figure 2 : An activity flow diagram of the Integrated Cognitive Explanation Environment (ICEE) that was utilized to explain task-processing systems in the CALO project taken from McGuinness et al. [ 7 ] .