[논문 리뷰] The Who in Explainable AI: How AI Background Shapes Perceptions of AI Explanations

Upol Ehsan, Samir Passi외 5명|arXiv (Cornell University)|2021. 07. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 123인용 수 14

한 줄 요약

이 연구는 두 그룹(AI 전문가 유무)을 대상으로 혼합 방법 연구를 통해 AI 배경이 설명 가능 인공지능(XAI) 설명에 대한 인식에 어떻게 영향을 미치는지 탐구한다. 연구 결과, 두 그룹 모두 수치적 설명에 기대어 과도한 신뢰를 보이며, 설계 의도를 초월해 서로 다른 설명 유형을 가치 있게 여기며, 인간다운 설명의 기준에 대해 상이한 견해를 가짐을 확인하였다. 이는 XAI 설계의 공정성에 도전하는 사용자 신뢰와 해석 간의 심각한 격차를 드러낸다.

ABSTRACT

Explainability of AI systems is critical for users to take informed actions and hold systems accountable. While opening the opaque is important, understanding who opens the box can govern if the Human-AI interaction is effective. In this paper, we conduct a mixed-methods study of how two different groups of whos--people with and without a background in AI--perceive different types of AI explanations. These groups were chosen to look at how disparities in AI backgrounds can exacerbate the creator-consumer gap. We quantitatively share what the perceptions are along five dimensions: confidence, intelligence, understandability, second chance, and friendliness. Qualitatively, we highlight how the AI background influences each group's interpretations and elucidate why the differences might exist through the lenses of appropriation and cognitive heuristics. We find that (1) both groups had unwarranted faith in numbers, to different extents and for different reasons, (2) each group found explanatory values in different explanations that went beyond the usage we designed them for, and (3) each group had different requirements of what counts as humanlike explanations. Using our findings, we discuss potential negative consequences such as harmful manipulation of user trust and propose design interventions to mitigate them. By bringing conscious awareness to how and why AI backgrounds shape perceptions of potential creators and consumers in XAI, our work takes a formative step in advancing a pluralistic Human-centered Explainable AI discourse.

연구 동기 및 목표

• AI 배경이 있는 사용자와 없는 사용자가 다양한 유형의 AI 설명을 어떻게 인식하는지 조사하기.
• XAI의 제작자-소비자 간 격차를 심화시킬 수 있는 신뢰, 이해 가능성, 인간다움 인식의 격차를 특정하기.
• AI 설명 수신 과정에서 발생하는 해석 패턴의 이질성 배경에 있는 인지적 메커니즘과 활용 기반 메커니즘 밝혀내기.
• 조작 위험을 완화하고 공정하고 인간 중심적인 XAI를 촉진하기 위한 설계 개입 방안 마련하기.

제안 방법

• AI 전문 배경이 있는지 여부에 따라 나누어진 두 그룹 간 AI 설명 인식을 비교하는 혼합 방법 연구 수행.
• 신뢰, 지능, 이해 가능성, 두 번째 기회, 친근함의 다섯 차원에서 인식을 정량적으로 측정.
• 인지 히ュ리스틱과 활용 행동을 포함해 AI 배경이 해석에 미치는 영향을 분석하기 위해 정성적 자료 수집.
• 주제 분석을 통해 정성적 응답을 해석하고 정량적 인식 차이를 설명.
• 원래 의도된 사용 사례를 초월해 특정 유형의 설명(예: 반대가정, LIME, SHAP)을 테스트하기 위해 설명 설계.
• 사용자 배경과 신뢰 형성과 관련된 '인간다운' 설명에 대한 이질적 기대를 분석.

실험 결과

연구 질문

• RQ1 사용자의 AI 배경은 그들의 신뢰, 지능, 이해 가능성, 두 번째 기회, 친근함의 차원에서 AI 설명 품질 인식에 어떻게 영향을 미치는가?
• RQ2 AI 전문가와 비전문가 사용자가 AI 설명을 해석하고 가치 있게 여기는 방식의 차이를 이끄는 인지적 메커니즘은 무엇인가?
• RQ3 사용자들이 설명을 원래 설계 의도를 초월해 얼마나 많이 활용하는가? 이는 배경에 따라 어떻게 달라지는가?
• RQ4 사용자들은 '인간다운' 설명을 어떻게 정의하는가? AI 전문가와 비전문가 간 정의에 차이가 있는가?
• RQ5 AI 설명에 대한 신뢰가 맞지 않을 경우 발생하는 위험은 무엇이며, 설계는 이를 어떻게 완화할 수 있는가?

주요 결과

• AI 전문가와 비전문가 모두 수치적 설명에 과도한 믿음을 보였지만, 이유는 달랐다. 전문가는 통계적 엄밀함을 신뢰했고, 비전문가는 객관성으로 간주된다는 인식에 기반했다.
• 각 그룹은 원래 설계 의도를 초월해 서로 다른 설명 유형에서 가치를 발견했으며, 예를 들어 LIME의 한계가 있음에도 불구하고 신뢰 구축 수단으로 사용하는 경우가 있었다.
• AI 전문가는 기술적 정밀도와 논리적 일관성을 선호했고, 비전문가는 직관적이고 서사 중심의 형식을 선호했다.
• 비전문가들은 자연어가 포함된 설명을 더 '친근하고 지능 있는' 것으로 느꼈다. 이는 정확도가 낮을지라도 말이다.
• 설명의 방법론이 투명하지 않은 경우 전문가들은 더 회의적인 태도를 보였으며, 이는 더 높은 정당화 기준을 반영한다.
• 연구는 '인간다운' 설명의 정의에 있어 뚜렷한 격차를 확인했으며, 비전문가는 대화체 톤을 선호했고, 전문가는 논리적 일관성을 중시했다.