[논문 리뷰] Personalized explanation in machine learning.

Johannes Schneider, Joshua Handali|arXiv (Cornell University)|2019. 01. 03.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 설명 추출 기반 데이터를 유도 기법을 통해 수집하여, 복잡성, 의사결정 정보, 표현 방식과 같은 핵심 개인화 차원을 식별함으로써 기계학습에서 개인화된 설명을 위한 개념적 프레임워크를 제안한다. 개인화된 설명 품질을 평가하기 위한 새로운 지향점과 정량적 지표를 도입함으로써, 사용자 맞춤형 모델 설명을 통해 해석 가능성의 수준을 향상시킨다.

ABSTRACT

Explanation in machine learning and related fields such as artificial intelligence aims at making machine learning models and their decisions understandable to humans. Existing work suggests that personalizing explanations might help to improve understandability. In this work, we derive a conceptualization of personalized explanation by defining and structuring the problem based on prior work on machine learning explanation, personalization (in machine learning) and concepts and techniques from other domains such as privacy and knowledge elicitation. We perform a categorization of explainee information used in the process of personalization as well as describing means to collect this information. We also identify three key explanation properties that are amendable to personalization: complexity, decision information and presentation. We also enhance existing work on explanation by introducing additional desiderata and measures to quantify the quality of personalized explanations.

연구 동기 및 목표

• 기계학습 설명, 개인화, 프라이버시, 지식 유도 분야의 통찰을 통합하여 개인화된 설명을 위한 개념적 기초를 마련하기 위해.
• 개인화에 사용되는 사용자 특화 정보의 유형을 분류하고, 그러한 데이터를 수집하는 데 효과적인 방법을 규명하기 위해.
• 사용자별로 조정 가능한 세 가지 핵심 설명 특성인 복잡성, 의사결정 정보, 표현 방식을 정의하고 형식화하기 위해.
• 설명의 품질 평가를 위한 새로운 지향점과 정량적 측정 기준을 도입하기 위해.

제안 방법

• 기계학습 설명, 개인화 및 관련 분야의 이전 연구를 통합하여 개인화된 설명의 개념적 구조를 도출한다.
• 사용자 전문성, 목표, 맥락과 같은 설명 수신자 정보를 범주로 분류하고, 직접 유도 및 암묵적 관찰과 같은 수집 기법을 제시한다.
• 개인화를 세 가지 핵심 설명 특성—복잡성(간소화 수준), 의사결정 정보(관련 모델 출력), 표현 형태(포맷 및 모odal)—기반으로 구성한다.
• 설계 및 평가를 안내하기 위해 관련성, 정확성, 사용자 일치도와 같은 새로운 지향점을 도입한다.
• 사용자 기반 적합도 및 이해 가능성 점수와 같은 정량적 지표를 제안하여 설명 품질을 평가한다.
• 지식 유도 기법을 통합하여 사용자 프로필과 피드백에 기반해 동적으로 설명을 적응시키는 방식을 제안한다.

실험 결과

연구 질문

• RQ1 기계학습에서 개인화된 설명을 사용자 이해도 향상에 기여하도록 개념적으로 프레임워크화하고 구조화할 수 있는가?
• RQ2 개인화된 설명에 가장 효과적인 사용자 특화 정보의 유형은 무엇이며, 어떻게 수집할 수 있는가?
• RQ3 세 가지 핵심 특성인 복잡성, 의사결정 정보, 표현 형태는 사용자별로 어떻게 조정될 수 있는가?
• RQ4 고품질 개인화된 설명의 설계를 안내하기 위해 필요한 새로운 지향점은 무엇인가?
• RQ5 개인화된 설명의 품질은 어떻게 정량적으로 측정하고 검증할 수 있는가?

주요 결과

• 논문은 사용자 특화 데이터와 적응 가능한 설명 특성에 기반한 체계적인 과정으로서 개인화된 설명을 공식화하는 종합적인 개념적 프레임워크를 수립한다.
• 사용자별 조정이 가능한 세 가지 핵심 설명 특성인 복잡성, 의사결정 정보, 표현 형태를 주요 개인화 대상으로 식별하며, 각 특성은 사용자 기반으로 조정 가능하다.
• 설계 및 평가를 향상시키기 위해 관련성, 정확성, 사용자 일치도와 같은 새로운 지향점을 도입한다.
• 개인화된 설명 시스템의 객관적 비교 및 최적화를 가능하게 하는 정량적 지표를 제안하여 설명 품질을 측정한다.
• 사용자 프로필과 피드백에 기반해 설명을 동적으로 적응시킬 수 있으며, 이는 해석 가능성 향상과 사용자 참여도 향상에 기여한다.