[논문 리뷰] Human-centered Explainable AI: Towards a Reflective Sociotechnical Approach

Upol Ehsan, Mark Riedl|arXiv (Cornell University)|2020. 02. 03.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 인간 중심의 해석 가능성 있는 인공지능(HCXAI)을 소개한다. HCXAI는 기술적 해석 가능성 외에도 인간의 가치, 상호작용적 관계, 사회적 맥락을 고려한 반성적 사회기술적 접근법이다. 비판적 기술적 실천(Critical Technical Practice)과 참가형, 가치 중심 설계(HCI 전략)를 융합함으로써 기술적 해석 시스템과 인간 요소에 대한 통찰이 상호 공진화할 수 있도록 하며, 비전문가 사용자를 대상으로 한 이유 제시 사례 연구를 통해 이를 입증한다.

ABSTRACT

Explanations--a form of post-hoc interpretability--play an instrumental role in making systems accessible as AI continues to proliferate complex and sensitive sociotechnical systems. In this paper, we introduce Human-centered Explainable AI (HCXAI) as an approach that puts the human at the center of technology design. It develops a holistic understanding of "who" the human is by considering the interplay of values, interpersonal dynamics, and the socially situated nature of AI systems. In particular, we advocate for a reflective sociotechnical approach. We illustrate HCXAI through a case study of an explanation system for non-technical end-users that shows how technical advancements and the understanding of human factors co-evolve. Building on the case study, we lay out open research questions pertaining to further refining our understanding of "who" the human is and extending beyond 1-to-1 human-computer interactions. Finally, we propose that a reflective HCXAI paradigm-mediated through the perspective of Critical Technical Practice and supplemented with strategies from HCI, such as value-sensitive design and participatory design--not only helps us understand our intellectual blind spots, but it can also open up new design and research spaces.

연구 동기 및 목표

• 해석 가능성 있는 인공지능(XAI)에서 통합적인 인간 중심 설계의 부족을 해결하기 위해 인간 중심의 AI 시스템 개발에 핵심적인 위치를 재정립한다.
• '누구한테 설명하는가?'라는 질문이 XAI의 핵심임을 인식하여 사용자의 가치, 사회적 역할, 상호작용적 관계를 깊이 이해할 필요가 있음을 강조한다.
• 기술적 해석 가능성 이상의 차원으로 사회기술적 반성을 AI 설계에 통합하여 암묵적 편향과 인지론적 맹점들을 드러내고자 한다.
• 비판적 기술적 실천과 참가형, 가치 중심 설계를 융합한 반성적 HCXAI 패러다임을 제안하여 윤리적, 민주적, 맥락 인지 기반의 AI 시스템을 조성한다.
• XAI 평가에서 수용성에서 비판적 반성으로의 전환을 촉구하며, 수동적 신뢰보다 비판적 사고와 가치 일치를 강조한다.

제안 방법

• 기술적 해석 시스템 개발과 지속적인 인간 요소 분석을 통합한 반성적 사회기술적 접근법을 채택한다.
• 비전문가 사용자에게 AI 결정을 접근 가능하게 하기 위해 인간의 사고 방식을 시뮬레이션하는 자연어 설명(이유 제시)을 구현한다.
• 최종 사용자와 이해관계자를 공동으로 참여시켜 해석 시스템을 공동 설계하는 참가형 설계(PD)를 적용하여 민주적인 권력 관계를 확보한다.
• Envisioning Cards와 같은 도구를 활용해 가치 중심 설계(VSD)를 적용하여 이해관계자들(예: 방사선 전문의, 관리자, 보험사) 간의 가치 갈등을 드러낸다.
• 비판적 기술적 실천(CTP)을 활용해 XAI 내에서 지배적인 은유와 가정을 분석함으로써 설계 선택에 대한 비판적 반성을 가능하게 한다.
• 사용자 인식에서 유래한 통찰이 시스템 개선에 기여하고, 반대로 시스템 개선이 사용자 이해를 향상시키는 방식으로 반복적 사례 연구를 통해 기술적 시스템과 인간 이해를 공진화한다.

실험 결과

연구 질문

• RQ1 기술적 역할을 넘어서 '누구'가 AI 시스템의 인간인지 종합적으로 이해할 수 있는가? 이를 해석 설계에 반영하기 위해.
• RQ2 기술적 해석 시스템과 인간 중심의 통찰이 상호 공진화할 수 있는 설계 전략은 무엇인가?
• RQ3 수용성 외에도 비판적 반성과 회의적 사고를 유도할 수 있는가를 평가하는 방법은 무엇인가?
• RQ4 가치, 권력 관계, 사회적 맥락이 효과적이고 윤리적인 AI 해석을 어떻게 형성하는가?
• RQ5 참가형 설계와 가치 중심 설계 전략을 XAI 내에서 어떻게 구현하여 이해관계자 간의 일치와 윤리적 투명성을 확보할 수 있는가?

주요 결과

• 기술적 해석 시스템과 인간 요소 이해의 공진화는 실제 사용자 요구를 반영한 더 풍부하고 맥락 인지 기반의 해석을 가능하게 한다.
• 이유 제시 기법은 비전문가 사용자에게 AI 결정을 효과적으로 전달하여 인식된 투명성과 신뢰성 향상을 이룬다.
• CTP와 같은 반성적 실천은 AI 설계 내 암묵적 가치와 편향을 드러내어 더 윤리적이고 책임감 있는 시스템을 가능하게 한다.
• 참가형 설계 전략은 디자이너와 최종 사용자 간의 권력 격차를 줄이며 민주적 참여를 촉진한다.
• Envisioning Cards를 활용한 가치 중심 설계로 이해관계자 간의 갈등(예: 방사선 전문의 vs. 보험사)을 드러내어 XAI 시스템에서 가치 일치의 필요성을 확인한다.
• 수용성 평가가 아닌 반성 평가를 통해 XAI의 더 깊은 과제를 드러내며, 특히 고위험 분야에서 수동적 신뢰보다 비판적 사고를 우선시하는 문제를 규명한다.