[논문 리뷰] Personalized explanation in machine learning: A conceptualization

Johanes Schneider, Joshua Handali|arXiv (Cornell University)|2019. 01. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 77인용 수 12

한 줄 요약

이 논문은 기계학습에서 개인화된 설명을 위한 개념적 프레임워크를 제안하며, 전문성, 선호도, 맥락과 같은 개인의 특성들이 모델 결정의 이해 가능성을 향상시키기 위해 어떻게 활용될 수 있는지 정의한다. 복잡성, 의사결정 정보, 표현 방식이라는 세 가지 핵심 개인화 가능 성질을 식별하고, 설명 품질 평가를 위한 바람직한 조건과 지표를 제안함으로써, 사용자 중심 접근을 통해 설명 가능한 AI 분야의 최신 기술을 발전시킨다.

ABSTRACT

Explanation in machine learning and related fields such as artificial intelligence aims at making machine learning models and their decisions understandable to humans. Existing work suggests that personalizing explanations might help to improve understandability. In this work, we derive a conceptualization of personalized explanation by defining and structuring the problem based on prior work on machine learning explanation, personalization (in machine learning) and concepts and techniques from other domains such as privacy and knowledge elicitation. We perform a categorization of explainee data used in the process of personalization as well as describing means to collect this data. We also identify three key explanation properties that are amendable to personalization: complexity, decision information and presentation. We also enhance existing work on explanation by introducing additional desiderata and measures to quantify the quality of personalized explanations.

연구 동기 및 목표

• 개인화가 기계학습 모델 결정의 이해 가능성을 향상시킬 수 있도록 체계화함으로써 설명 가능한 AI 분야의 격차를 메우기 위해.
• 사용자 특화 데이터와 설명 성질을 포함한 개인화의 핵심 차원을 식별하고 체계화하기 위해.
• 개선된 개인화된 설명의 품질 평가를 위한 새로운 바람직한 조건과 정량적 측정법을 제안하기 위해.
• 개인화, 기밀 보장, 지식 확보와 같은 분야의 통찰을 통합하여 일관된 개념적 기반을 구축하기 위해.
• 설명 수신자 데이터의 분류 체계와 이를 수집하기 위한 방법을 제공하여 개인화된 설명 시스템의 체계적 설계를 가능하게 하기 위해.

제안 방법

• 저자들은 기계학습 설명, 개인화, 그리고 기밀 보장 및 지식 확보와 같은 관련 분야의 이전 연구를 통합하여 개념적 프레임워크를 도출한다.
• 설명 수신자 데이터를 사용자 전문성, 인지적 선호도, 맥락적 요인 등의 유형으로 분류하고, 설문 조사, 암묵적 피드백, 직접 입력을 포함한 수집 방법을 기술한다.
• 프레임워크는 개인화가 가능한 세 가지 핵심 설명 성질을 식별한다: 복잡성(단순화 수준), 의사결정 정보(콘텐츠의 관련성), 표현 방식(형식 및 모odal 방식).
• 개선된 개인화된 설명을 위한 새로운 바람직한 조건(예: 관련성, 정확성, 적응 가능성)을 도입하고, 설명 품질을 정량화하기 위한 지표를 제안한다.
• 사용자 중심 설계를 강조하여 개인화를 사용자 특화 데이터에 기반으로 하되, 모델의 투명성과 공정성과의 일치를 확보한다.
• 개선된 설명 개인화를 체계적으로 조직하기 위한 분류 체계를 제공하여, 개인화된 설명 시스템의 체계적 개발 및 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사용자 특성은 어떻게 체계적으로 기계학습 설명에 통합되어 이해 가능성을 향상시킬 수 있는가?
• RQ2 개인화가 가능한 설명의 핵심 성질은 무엇이며, 사용자 이해에 어떤 영향을 미치는가?
• RQ3 개인화된 설명에 가장 효과적인 설명 수신자 데이터 유형은 무엇이며, 이를 윤리적이고 효율적으로 수집하는 방법은 무엇인가?
• RQ4 고품질 개인화된 설명 설계를 이끄는 기준이나 바람직한 조건은 무엇인가?
• RQ5 개인화된 설명의 품질을 체계적으로 측정하고 평가하기 위한 기준은 무엇인가?

주요 결과

• 논문은 개인화된 설명이 복잡성, 의사결정 정보, 표현 방식이라는 세 가지 핵심 성질을 중심으로 체계적으로 구성될 수 있음을 입증한다.
• 전문성 수준, 인지 스타일, 맥락적 선호도와 같은 여러 유형의 설명 수신자 데이터가 설명을 맞춤형으로 조정하는 데 사용될 수 있음을 식별한다.
• 설계 및 평가를 안내하기 위해 관련성, 정확성, 적응 가능성 등의 바람직한 조건을 제안한다.
• 설명 품질을 정량화하기 위한 지표를 도입하여, 개인화된 설명 시스템 간의 객관적 비교 및 개선을 가능하게 한다.
• 개선된 개인화 가능한 설명 가능한 AI 분야의 향후 경험적 연구 및 시스템 개발을 위한 기초를 제공한다.
• 이 작업은 ECIS 2019에서 발표를 확정받아 학술 공동체 내에서 기초 개념 기여로 인정받고 있음을 시사한다.