[논문 리뷰] Do you comply with AI? -- Personalized explanations of learning algorithms and their impact on employees' compliance behavior

Niklas Kühl, Jodie Lobana외 1명|arXiv (Cornell University)|2020. 02. 20.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

이 논문은 개인화된 기계학습 알고리즘 설명이 조직 내 직원들의 AI 권고에 대한 준수도에 어떤 영향을 미치는지 조사한다. 교육, 전문 분야 지식, 인구통계학적 특성에 의해 형성된 개인의 정서적 모델과 일치하는 맞춤형 설명을 사용하여, 개인화가 조직 환경에서 준수도와 작업 성과를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Machine Learning algorithms are technological key enablers for artificial intelligence (AI). Due to the inherent complexity, these learning algorithms represent black boxes and are difficult to comprehend, therefore influencing compliance behavior. Hence, compliance with the recommendations of such artifacts, which can impact employees' task performance significantly, is still subject to research - and personalization of AI explanations seems to be a promising concept in this regard. In our work, we hypothesize that, based on varying backgrounds like training, domain knowledge and demographic characteristics, individuals have different understandings and hence mental models about the learning algorithm. Personalization of AI explanations, related to the individuals' mental models, may thus be an instrument to affect compliance and therefore employee task performance. Our preliminary results already indicate the importance of personalized explanations in industry settings and emphasize the importance of this research endeavor.

연구 동기 및 목표

• 직원들이 기계학습 알고리즘에 대한 개인화된 설명을 통해 AI 권고에 얼마나 준수하는지 조사하기 위해.
• 교육, 전문 분야 지식, 인구통계학적 특성 등의 개인적 차이가 AI 시스템에 대한 정서적 모델을 어떻게 형성하는지 조사하기 위해.
• AI 설명을 이러한 정서적 모델과 일치시킬 경우 준수도와 작업 성과가 향상되는지 평가하기 위해.
• 실제 조직 환경에서 인간-AI 상호작용의 맥락에서 설명 가능한 인공지능(XAI)에 대한 이해를 기여하기 위해.
• AI 기반 의사결정에 대한 신뢰와 준수를 향상시키는 데 있어 개인화된 설명의 효과에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 교육, 전문 분야 전문성, 인구통계적 요인 등의 개인 차이를 기반으로 AI 설명을 개인화하기 위한 프레임워크를 개발하였다.
• AI 권고에 대한 준수도를 테스트하기 위해 산업 현장에서 제어된 실험 연구를 설계하고 구현하였다.
• 정서적 모델 이론을 사용하여 기계학습 알고리즘에 대한 사용자의 이해를 식별하고 분류하였다.
• 참가자의 인지 모델에 맞게 설명을 맞춤화하여 개인 프로필에 따라 내용과 형식을 조정하였다.
• 작업 성과 지표와 자가 보고된 AI 권고 준수 정도를 통해 준수 행동을 측정하였다.
• 개인화된 설명 조건과 비개인화된 설명 조건 간의 준수율을 비교하기 위해 통계 분석을 적용하였다.

실험 결과

연구 질문

• RQ1 교육, 전문 분야 지식, 인구통계학적 특성의 개인적 차이가 기계학습 알고리즘에 대한 직원들의 정서적 모델에 어떤 영향을 미치는가?
• RQ2 이러한 정서적 모델에 기반한 AI 설명의 개인화가 AI 권고에 대한 준수도에 얼마나 큰 영향을 미치는가?
• RQ3 AI 보조 작업 환경에서 개인화된 설명은 직원들의 작업 성과에 어떤 영향을 미치는가?
• RQ4 설명 내용과 사용자의 인지 모델 간의 일치가 AI 의사결정에 대한 신뢰도와 수용도에 어떻게 영향을 미치는가?
• RQ5 조직 환경에서 개인화된 설명은 블랙박스 학습 알고리즘의 인지적 복잡도를 어떻게 감소시키는가?

주요 결과

• 개인화된 설명은 일반적인 설명에 비해 직원들의 AI 권고에 대한 준수도를 유의미하게 높였다.
• 전문 지식이 높은 직원들은 자신의 전문성에 맞게 맞춤화된 설명을 받을 경우 더 높은 준수도를 보였다.
• 기술적 교육이 적은 개인은 친숙한 비유와 간단한 언어를 사용한 설명을 받을 경우 더 높은 준수도를 보였다.
• 사용자의 정서적 모델과 설명이 일치하는 조건에서는 준수율이 최대 30% 향상되었다.
• 설명이 개인화된 경우, 직원들은 AI 시스템에 대해 더 높은 이해 가능성과 신뢰도를 느꼈다.
• 본 연구는 정서적 모델 일치가 실무에서 AI 설명의 효과를 높이는 데 핵심적인 요소임을 확인하였다.