[논문 리뷰] Explainability Pitfalls: Beyond Dark Patterns in Explainable AI

Upol Ehsan, Mark Riedl|arXiv (Cornell University)|2021. 09. 26.

Explainable Artificial Intelligence (XAI)Computer Science참고 문헌 32인용 수 17

한 줄 요약

이 논문은 악의적인 의도 없이도 발생하는 AI 해석의 뜻밖의 부정적 영향, 즉 '해석 가능성 함정(EPs)'을 소개한다. 이는 어두운 패턴과는 다를 바로 의도적 기만이 없으며, 수치적 해석이 사용자에게 잘못된 신뢰를 불러일으킬 수 있음을 사례 연구를 통해 밝히며, 연구, 설계, 조직 차원의 사전 대응 전략을 제안한다. 이는 실수를 드러내는 설계와 EP 인식 프로그램을 통해 이러한 함정을 탐지하고 방지하는 데 초점이 맞춰져 있다.

ABSTRACT

To make Explainable AI (XAI) systems trustworthy, understanding harmful effects is just as important as producing well-designed explanations. In this paper, we address an important yet unarticulated type of negative effect in XAI. We introduce explainability pitfalls(EPs), unanticipated negative downstream effects from AI explanations manifesting even when there is no intention to manipulate users. EPs are different from, yet related to, dark patterns, which are intentionally deceptive practices. We articulate the concept of EPs by demarcating it from dark patterns and highlighting the challenges arising from uncertainties around pitfalls. We situate and operationalize the concept using a case study that showcases how, despite best intentions, unsuspecting negative effects such as unwarranted trust in numerical explanations can emerge. We propose proactive and preventative strategies to address EPs at three interconnected levels: research, design, and organizational.

연구 동기 및 목표

• 의도적인 속임수 없이도 발생하는 AI 해석의 뜻밖의 부정적 영향, 즉 해석 가능성 함정(EPs)을 식별하고 개념화하는 것.
• 의도적 기만이 없고 악의가 없음을 강조함으로써 EPs를 어두운 패턴과 구분하는 것.
• 사용자 인지에서 수치적 해석과 자연어 해석을 비교하는 통제된 사례 연구를 통해 EPs를 실질화하는 것.
• 연구, 설계, 조직 차원의 사전 대응 전략을 제안하여 XAI 시스템 내 EPs를 탐지하고 방지하는 것.
• 해석 안전성의 이전에 명시되지 않은 지적 맹점에 대한 인식을 높임으로써 XAI 설계 영역을 확장하는 것.

제안 방법

• 자연어 해석(근거 포함), 자연어 해석(근거 없음), 비맥락화된 수치적 해석의 세 가지 유형을 비교하는 통제된 사용자 연구를 수행함.
• 사용자 응답의 정성적 분석을 통해 오해의 패턴, 예를 들어 수치 출력에 대한 잘못된 신뢰를 식별함.
• 가능한 함정을 시뮬레이션하고 XAI 시스템에서 '어디서 잘못될 수 있는가'를 상상하기 위해 사고 실험 및 반성적 설계 방법을 사용함.
• 시스템 메커니즘을 전략적으로 드러내되, 혼란을 유발하는 요소는 숨기는 '실수 드러내기 해석'을 제안함으로써 반성적 사고를 촉진하고 오해의 수치적 신호에 대한 의존도를 낮춤.
• 디자이너와 사용자를 위한 '함정 인식 프로그램'을 도입함. 참가형 설계와 시뮬레이션 연습을 통해 EPs에 대한 인식을 향상시킴.
• 조직 차원의 교육 및 평가 프레임워크를 주장함으로써 EP 인식을 XAI 개발 및 평가 프로세스에 통합함.

실험 결과

연구 질문

• RQ1 AI 배경이 없는 사용자와 있는 사용자가 AI 시스템 내 비맥락화된 수치적 해석을 어떻게 인지하는가?
• RQ2 디자이너가 의도적으로 속이지 않더라도 AI 해석에서 어떤 종류의 뜻밖의 부정적 영향이 발생하는가?
• RQ3 수치적 해석은 사용자의 잘못된 신뢰나 인지적 불일치를 어떻게 유도하는가?
• RQ4 실수 드러내기 설계 원칙은 어떻게 적용하여 해석 가능성 함정을 완화할 수 있는가?
• RQ5 어떤 조직적 및 교육 전략이 해석의 뜻밖의 부정적 영향에 대한 회복력을 높일 수 있는가?

주요 결과

• AI 배경이 없는 사용자들이 수치적 해석에 대해 자연어 해석보다 훨씬 더 높은 수준의 잘못된 신뢰를 보였으며, 이는 수치가 맥락 없이 제시되었음에도 불구하고 그렇다.
• 의도적인 기만이 없더라도, 수치적 해석은 사용자가 AI의 신뢰성과 의사결정 투명도를 과도하게 평가하도록 이끌었다.
• 사례 연구에서 사용자들이 수치 출력을 본질적으로 객관적 또는 권위적이라고 오해하여 그들에 과도하게 의존하는 경향이 있음을 확인했다.
• 특히 상호작용형 조건부 가정(카운터패럴러럴)이 포함된 실수 드러내기 해석은 반성적 사고를 촉진하고 함정으로 이어지는 인지적 단순화를 줄이는 데 효과적이었다.
• 참가자들은 대조적인 '만약에' 시나리오, 즉 '무엇이 달라질까?' 상황에 노출된 후 시스템의 한계에 대해 더 높은 인식을 보였다. 이는 이러한 방법이 EPs를 완화하는 데 기여할 수 있음을 시사한다.
• 연구는 디자이너와 사용자 모두가 해석의 예상치 못한 부정적 영향을 인지하고 피할 수 있도록 도구를 제공하는 EP 인식 프로그램의 필요성을 강조한다.