[논문 리뷰] Seamful XAI: Operationalizing Seamful Design in Explainable AI

Upol Ehsan, Q. Vera Liao외 3명|arXiv (Cornell University)|2022. 11. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 74인용 수 8

한 줄 요약

이 논문은 설명 가능한 AI에서 '균열' 설계를 운영화하는 프레임워크인 Seamful XAI를 소개한다. 이는 데이터 편향이나 구현 환경 갭과 같은 사회기술적 및 인프라적 불일치를 전략적으로 드러내어 설명 가능성과 사용자 주도성을 향상시킨다. 43명의 전문가 및 사용자와의 공동 설계 과정을 통해, 사전에 균열을 식별하고 이를 설계에 통합함으로써 AI 해로움을 완화하고 책임감 있는 AI 구현을 지원할 수 있음을 입증한다.

ABSTRACT

Mistakes in AI systems are inevitable, arising from both technical limitations and sociotechnical gaps. While black-boxing AI systems can make the user experience seamless, hiding the seams risks disempowering users to mitigate fallouts from AI mistakes. Instead of hiding these AI imperfections, can we leverage them to help the user? While Explainable AI (XAI) has predominantly tackled algorithmic opaqueness, we propose that seamful design can foster AI explainability by revealing and leveraging sociotechnical and infrastructural mismatches. We introduce the concept of Seamful XAI by (1) conceptually transferring "seams" to the AI context and (2) developing a design process that helps stakeholders anticipate and design with seams. We explore this process with 43 AI practitioners and real end-users, using a scenario-based co-design activity informed by real-world use cases. We found that the Seamful XAI design process helped users foresee AI harms, identify underlying reasons (seams), locate them in the AI's lifecycle, learn how to leverage seamful information to improve XAI and user agency. We share empirical insights, implications, and reflections on how this process can help practitioners anticipate and craft seams in AI, how seamfulness can improve explainability, empower end-users, and facilitate Responsible AI.

연구 동기 및 목표

• 무결함 설계의 한계를 해결하기 위해, 이는 시스템 장애 시 중요한 불일치를 숨기며 사용자 주도성을 약화시킨다.
• 설계 가정과 실제 구현 환경 간의 사회기술적 및 인프라적 불일치로 '균열'을 개념화한다.
• 사용자 설명 가능성 향상을 위해 균열을 체계적으로 식별하고 전략적으로 드러내거나 숨기는 데 도움이 되는 실용적 설계 프로세스를 개발한다.
• 알고리즘 투명성 이상의 요소인 조직, 데이터, 통합 현실을 포함하여 인간 중심의 XAI를 지원하기 위해 균열 설계를 어떻게 활용할 수 있는지 탐색한다.
• 실제 사례(예: 자동 대출)에 초점을 맞춘 43명의 AI 전문가 및 최종 사용자와의 시나리오 기반 공동 설계를 통해 프레임워크를 검증한다.

제안 방법

• 유비쿼터스 컴퓨팅에서 유래한 '균열 설계' 개념을 AI에 적용하고, '균열'을 AI 개발 가정과 실제 구현 조건 간의 불일치로 재정의한다.
• 4단계 설계 프로세스 개발: (1) 시나리오 기반 아이디어 도출을 통한 균열 식별, (2) 관련성 및 실행 가능성 기준을 활용한 균열 필터링, (3) 균열 설명의 프로토타이핑, (4) 이해관계자 대상 평가.
• 실제 사례(예: 자동 대출, 헬스케어 진단)를 바탕으로 43명의 AI 전문가 및 사용자와의 공동 설계 연구를 수행하여 프레임워크의 실용성을 기반화한다.
• 시나리오 기반 설계를 통해 장애 시나리오를 시뮬레이션하고, 균열 정보가 의사결정 및 시스템 신뢰도 향상에 어떻게 기여할 수 있는지 이해관계자 인사이트를 확보한다.
• 알고리즘적, 사회기술적, 인프라적 차원의 설명 가능성 통합을 위한 인간 중심의 XAI 렌즈를 적용한다.
• 분야 전문가 및 전문가의 피드백을 통합하여 프레임워크를 개선하고 다양한 AI 구현 환경에서의 실용성 확보.

실험 결과

연구 질문

• RQ1 AI 시스템 맥락에서 '균열'이란 무엇이며, 특히 알고리즘 투명성 초과에서 무엇을 포함하는가?
• RQ2 사용자 및 이해관계자들이 AI 설계 및 구현 과정에서 사회기술적 및 인프라적 균열을 체계적으로 식별하고 우선순위를 정하는 방법은 무엇인가?
• RQ3 균열을 전략적으로 드러내거나 숨기는 방식이 AI 시스템의 설명 가능성과 사용자 주도성 향상에 어떻게 기여하는가?
• RQ4 균열 설계는 모델 장애나 구현 불일치 발생 시 후속 AI 피해를 어떻게 완화하는가?
• RQ5 실제 AI 응용 프로그램에서 균열을 사전에 고려해 설계하는 데 실질적 영향과 한계는 무엇인가?

주요 결과

• AI의 균열은 기술적 결함 이상의 의미를 지닌다. 훈련 데이터 편향, 규제 제약, 통합 방식과 같은 사회기술적 불일치는 시스템 성능과 사용자 신뢰에 영향을 준다.
• 공동 설계 과정을 통해 실제 AI 응용 사례에서 12종의 핵심 균열 유형을 식별하고 우선순위를 정하는 데 성공했으며, 데이터 분포 이동 및 정책-기술 지연 등 포함.
• 참여자들은 균열 설명 덕분에 대출 거절과 같은 AI 장애 상황에서도 지역 데이터 편향과 같은 맥락 기반 제한을 드러내어 더 나은 의사결정을 내릴 수 있었다.
• Wi-Fi 신호 세기나 진단 도구의 모델 신뢰도와 같은 균열을 전략적으로 드러내는 것이 비록 완벽하지 않더라도 숨기는 것보다 더 유용하게 인식되었다.
• 프레임워크 덕분에 실시간 모델 업데이트가 규제나 기술적 제약으로 불가능한 상황에서도 사용자가 시스템 장애를 더 효과적으로 예측하고 대응할 수 있었다.
• 연구에서 균열 설계가 '모르는 모르는 것'을 '알아서 모르는 것'으로 전환하여 사전 대응과 시스템 내성 향상이 가능함을 밝혀냈다.