[논문 리뷰] The Role of Individual User Differences in Interpretable and Explainable Machine Learning Systems

Lydia P. Gleaves, Reva Schwartz외 1명|arXiv (Cornell University)|2020. 09. 14.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 연구는 개인적 차이—특히 숫자 이해력, 사고의 욕구, 데이터 과학 전문성—이 사용자가 기계 학습 모델 출력을 해석하고 설명하는 데 미치는 영향을 조사한다. 흐린 추론 이론을 사용하여, 이해 가능성과 설명 가능성은 서로 다른 인지 과정임을 발견하였으며, 이해 가능성은 메타인지 특성과 정밀한 정서적 정서적 표현과 강하게 연관되어 있고, 설명 가능성은 유의미한 예측 변수를 보이지 않았다. 결과는 개인의 정서적 모델을 고려한 사용자 맞춤형 ML 시스템 설계의 필요성을 강조한다.

ABSTRACT

There is increased interest in assisting non-expert audiences to effectively interact with machine learning (ML) tools and understand the complex output such systems produce. Here, we describe user experiments designed to study how individual skills and personality traits predict interpretability, explainability, and knowledge discovery from ML generated model output. Our work relies on Fuzzy Trace Theory, a leading theory of how humans process numerical stimuli, to examine how different end users will interpret the output they receive while interacting with the ML system. While our sample was small, we found that interpretability -- being able to make sense of system output -- and explainability -- understanding how that output was generated -- were distinct aspects of user experience. Additionally, subjects were more able to interpret model output if they possessed individual traits that promote metacognitive monitoring and editing, associated with more detailed, verbatim, processing of ML output. Finally, subjects who are more familiar with ML systems felt better supported by them and more able to discover new patterns in data; however, this did not necessarily translate to meaningful insights. Our work motivates the design of systems that explicitly take users' mental representations into account during the design process to more effectively support end user requirements.

연구 동기 및 목표

• 사용자의 스킬 및 성격 특성의 개인적 차이가 기계 학습 모델 출력을 해석하고 설명하는 능력에 어떻게 영향을 미치는지 조사하기.
• 비전문가 사용자가 ML 시스템과 상호작용할 때 이해 가능성과 설명 가능성은 인지적으로 별개의 과정인지 검토하기.
• 흐린 추론 이론이 사용자가 모델 출력 표현을 어떻게 인코딩하고 처리하는지 예측하는 데 어떤 역할을 하는지 평가하기.
• 숫자 이해력, 사고의 욕구, 또는 데이터 과학 전문성과 같은 사용자 특성이 모델 출력에서 효과적인 해석과 발견을 예측하는 데 어떤 역할을 하는지 특정하기.
• 사용자 인지 이론에 기반한 실험적으로 검증된 이론을 바탕으로 해서 이해 가능하고 설명 가능한 ML 시스템 설계를 안내하기.

제안 방법

• 디자인 이벤트 동안 비전문가 참가자가 네 가지 자동화된 기계 학습 시스템과 상호작용하면서 사용자 실험을 수행하였다.
• 사용자가 모델 출력을 정밀한(verbatim) 또는 개괄적(gist) 표현으로 어떻게 인코딩하는지 모델링하기 위해 흐린 추론 이론을 적용하였다.
• 구조화된 평가와 시스템 상호작용을 통해 이해 가능성, 설명 가능성, 지식 발견 데이터를 수집하였다.
• 요인 분석을 통해 이해 가능성과 설명 가능성의 구조를 검토하여, 이들이 별개의 요인으로 부하됨을 확인하였다.
• 회귀 모델을 사용하여 이해 가능성과 설명 가능성의 예측 변수를 시험하였으며, 시스템 유형, 데이터셋, 참가자 특성 등을 제어하였다.
• 요인 분석를 통해 검증된 바탕으로 자가 보고된 데이터 과학 전문성, 숫자 이해력, 사고의 욕구를 측정하여 개인적 차이를 측정하였다.

실험 결과

연구 질문

• RQ1 숫자 이해력과 사고의 욕구의 개인적 차이가 사용자의 기계 학습 모델 출력 이해 가능성에 어떻게 영향을 미치는가?
• RQ2 이해 가능성과 설명 가능성은 인지적으로 별개의 과정인가, 아니면 공통된 정서적 표현에 의존하는가?
• RQ3 기계 학습 시스템에 대한 이전 경험은 사용자가 데이터에서 새로운 패턴을 발견하는 능력에 얼마나 영향을 미치는가?
• RQ4 다양한 시스템 설계는 사용자 특성과 무관하게 사용자의 이해 가능성과 설명 가능성 결과에 어떻게 영향을 미치는가?
• RQ5 어떤 사용자 특성이 모델 출력에 대한 의미 있는 해석을 생성하는 능력을 가장 잘 예측하는가?

주요 결과

• 이해 가능성과 설명 가능성은 확증적 요인 분석에서 별개의 요인 부하를 보이며, 별개의 인지 과정임이 확인되었다.
• 더 높은 숫자 이해력과 사고의 욕구를 가진 개인은 유의미하게 더 높은 이해 가능성 수준을 보였으며, 정밀한 정밀한 정서적 표현에 더 강하게 의존함을 시사한다.
• 형식적 방법과 ML 시스템에 대한 익숙함은 패턴 발견 능력을 높였지만, 반드시 더 깊은 통찰을 의미하는 것은 아니었다.
• 의미 있는 해석을 생성하는 데 가장 강력한 예측 변수는 '시스템 A'의 사용이었으며, 이는 시스템 설계가 이해 가능성에 결정적인 역할을 함을 시사한다.
• 설명 가능성에 대해 유의미한 예측 변수를 찾지 못했으며, 이는 측정된 사용자 특성으로는 설명 가능성 예측이 신뢰할 수 없음을 시사한다.
• 데이터셋 유형은 발견 능력에 유의미한 영향을 미쳤으며, 식물학 및 반테러 데이터셋은 사용자가 효과적으로 탐색하기 어려운 것으로 나타났다.