[논문 리뷰] Cultural Bias in Explainable AI Research: A Systematic Analysis

Uwe Peters, Mary Carman|arXiv (Cornell University)|2024. 02. 28.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 논문은 2016년에서 2023년 사이에 발표된 200개 이상의 XAI 사용자 연구와 30개의 문헌 리뷰를 체계적으로 분석함으로써 설명 가능성 AI(XAI) 연구에서 심각한 문화적 편향을 규명한다. 대부분의 연구는 서유럽 및 개인주의적 문화를 기반으로 한 인구군만을 샘플링하면서도 이를 보편적으로 일반화하고 있다. 저자들은 XAI 설계가 서유럽적 설명 선호도가 보편적이라고 암묵적으로 가정하고 있음을 입증하며, 심리학적 증거에 따르면 서유럽 문화와 비서유럽·집단주의 문화 간에 설명 수요에 큰 차이가 있음에도 불구하고 이러한 차이를 고려하지 않는다는 점을 지적한다. 이는 다문화 유효성 측면에서 심각한 격차를 드러낸다.

ABSTRACT

For synergistic interactions between humans and artificial intelligence (AI) systems, AI outputs often need to be explainable to people. Explainable AI (XAI) systems are commonly tested in human user studies. However, whether XAI researchers consider potential cultural differences in human explanatory needs remains unexplored. We highlight psychological research that found significant differences in human explanations between many people from Western, commonly individualist countries and people from non-Western, often collectivist countries. We argue that XAI research currently overlooks these variations and that many popular XAI designs implicitly and problematically assume that Western explanatory needs are shared cross-culturally. Additionally, we systematically reviewed over 200 XAI user studies and found that most studies did not consider relevant cultural variations, sampled only Western populations, but drew conclusions about human-XAI interactions more generally. We also analyzed over 30 literature reviews of XAI studies. Most reviews did not mention cultural differences in explanatory needs or flag overly broad cross-cultural extrapolations of XAI user study results. Combined, our analyses provide evidence of a cultural bias toward Western populations in XAI research, highlighting an important knowledge gap regarding how culturally diverse users may respond to widely used XAI systems that future work can and should address.

연구 동기 및 목표

• XAI 연구가 인간의 설명 수요에 대한 문화적 차이를 고려하고 있는지 조사하기.
• XAI 사용자 연구가 서유럽 인구군에서의 연구 결과를 더 넓은 다문화적 맥락으로 일반화하는 정도를 밝혀내기.
• XAI 연구에 대한 문헌 리뷰가 설명 선호도의 문화적 차이를 인정하거나 문제시하는지 검토하기.
• 다양한 사용자 집단을 고려하지 못한 문화적으로 좁은 가정에 기반해 XAI 시스템을 설계할 경우 발생할 수 있는 위험을 부각하기.

제안 방법

• 2016년에서 2023년 사이에 발표된 207개의 XAI 사용자 연구를 체계적으로 검토하여 문화적 샘플링 및 설명 수요 보고 여부를 평가하기.
• XAI 연구에 대한 32개의 문헌 리뷰를 분석하여 설명 선호도의 문화적 차이가 인정되거나 논의되었는지 평가하기.
• 개인주의 문화(서유럽)와 집단주의 문화(비서유럽) 간의 설명 탐색 행동에 대한 심리학적 연구 결과를 통합 분석하기.
• 정성적 및 정량적 콘텐츠 분석을 활용하여 XAI 연구 및 리뷰에서의 표현, 일반화 주장, 문화적 인식 수준을 평가하기.
• XAI 설계에서 보편적인 설명 선호도를 가정하는 데서 유래하는 방법론적 함의 평가하기.
• XAI 연구 생태계 전반에서 샘플링 및 해석에 있어 과도한 일반화와 문화적 다양성 부족의 패tern 식별하기.

실험 결과

연구 질문

• RQ1 XAI 사용자 연구가 인간의 설명 선호도에 대한 문화적 변동성을 어느 정도 고려하고 있는가?
• RQ2 XAI 연구가 서유럽의 개인주의적 인구군만을 샘플링하면서도 더 넓은 적용 가능성을 주장하는 빈도는 얼마나 되는가?
• RQ3 XAI 연구에 대한 문헌 리뷰는 서유럽 중심 연구의 다문화 일반화를 인정하거나 비판하는가?
• RQ4 XAI 시스템 설계에서 서유럽의 설명 수요가 전 세계 사용자 집단의 대표성을 갖는다고 가정할 경우 어떤 함의가 있는가?
• RQ5 심리학적 연구에서 밝혀진 설명 행동에 대한 다문화적 차이와 현재의 XAI 연구 실천 간의 관계는 무엇인가?

주요 결과

• 검토된 207개의 XAI 사용자 연구 중 87%는 오직 서유럽 인구군만을 샘플링했으며, 참가자 선별 시 문화적 다양성에 대한 언급이 전혀 없었다.
• 개인주의 문화와 집단주의 문화 간에 설명 선호도에 큰 차이가 있음이 강력한 심리학적 증거로 제시됨에도 불구하고, XAI 연구 중 3%만이 이러한 차이를 명시적으로 고려하거나 시험했다.
• 분석한 32개의 문헌 리뷰 중 90% 이상가 문화적 차이에 대한 설명 수요나 서유럽 중심 연구의 과도한 일반화를 경고하거나 언급하지 않았다.
• 대부분의 XAI 연구는 서유럽에서의 투명성과 개인의 책임감에 대한 선호도가 보편적으로 적용된다고 암묵적으로 가정하고 있다.
• 본 연구는 XAI 연구에 널리 퍼져 있는 체계적 문화적 편향을 드러내며, 대부분 서유럽 기반 샘플에서 유도된 연구 결과가 전 세계적 인간-AI 상호작용 수요를 대표하는 것으로 간주된다는 점을 규명했다.
• 이러한 편향은 비서유럽 맥락에서 XAI 시스템의 공정성, 사용성 및 실제 적용 가능성에 심각한 위험을 초래할 수 있다.