[논문 리뷰] Explainable AI: Beware of Inmates Running the Asylum Or: How I Learnt to Stop Worrying and Love the Social and Behavioural Sciences

Tim Miller, Piers D. L. Howe외 1명|arXiv (Cornell University)|2017. 12. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 209

한 줄 요약

이 논문은 설명가능한 AI가 종종 최종 사용자의 필요가 아니라 연구자 자신의 관점에 의해 좌우될 위험이 있으며, XAI를 사회/행동과학 연구 및 인간 중심 평가에 기초하도록 권고한다. 관련 연구를 조사하고 설명이 사회적이며 대조적이고 인간-개입 검증이 필요하다는 점을 강조한다.

ABSTRACT

In his seminal book `The Inmates are Running the Asylum: Why High-Tech Products Drive Us Crazy And How To Restore The Sanity' [2004, Sams Indianapolis, IN, USA], Alan Cooper argues that a major reason why software is often poorly designed (from a user perspective) is that programmers are in charge of design decisions, rather than interaction designers. As a result, programmers design software for themselves, rather than for their target audience, a phenomenon he refers to as the `inmates running the asylum'. This paper argues that explainable AI risks a similar fate. While the re-emergence of explainable AI is positive, this paper argues most of us as AI researchers are building explanatory agents for ourselves, rather than for the intended users. But explainable AI is more likely to succeed if researchers and practitioners understand, adopt, implement, and improve models from the vast and valuable bodies of research in philosophy, psychology, and cognitive science, and if evaluation of these models is focused more on people than on technology. From a light scan of literature, we demonstrate that there is considerable scope to infuse more results from the social and behavioural sciences into explainable AI, and present some key results from these fields that are relevant to explainable AI.

연구 동기 및 목표

• 설명가능한 AI가 사용자의 필요보다 연구자의 관점에 의해 좌우될 위험이 있음을 주장한다.
• XAI 문헌에서 사회과학과 인간 요소가 충분히 다뤄지지 않음을 보인다.
• 철학, 심리학, 인지과학의 설명 모델을 XAI에 포함시키는 것을 옹호한다.
• 인간 행동 연구 데이터를 활용한 설명의 평가를 권장한다.

제안 방법

• 사회과학 설명에 대한 노출을 평가하기 위해 IJCAI 2017 XAI 워크숍 Related Work 리스트의 23편에 대한 경량 설문을 수행한다.
• 논문을 주제별로 분류(주제 관련-대비 주제 아니오)하고 사회과학 참조 및 인간 행동 데이터에 기반한 데이터 주도성 및 검증 기준에 따라 분류한다.
• 설명과 관련된 사회과학 문헌의 핵심 아이디어(대비적 설명, 귀인 이론, 설명 선택, 평가, 설명의 대화적 특성)를 요약한다.
• 사회과학 통찰을 XAI 모델 설계 및 평가에 통합할 수 있는 격차와 잠재적 영향 포인트를 파악한다.

실험 결과

연구 질문

• RQ1 XAI 논문이 설명의 사회과학 이론에 얼마나 많이 의존하는가?
• RQ2 설명 검증에 인간 행동 실험이 XAI 문헌에서 얼마나 자주 사용되는가?
• RQ3 대비적 설명, 귀인 이론, 설명 선택 등 사회과학 개념이 XAI 모델을 어떻게 inform할 수 있는가?
• RQ4 XAI를 인간 중심 평가 표준에 맞추기 위해 연구자들이 취할 수 있는 실용적 단계는 무엇인가?

주요 결과

• 많은 XAI 논문이 사회과학이나 인간 요소로부터 거의 벗어나고 있으며, 부분적으로만 사회과학 설명을 참조하고 실제로는 인간 행동 데이터에 기반한 연구를 근거로 삼는 경우는 더 드뭅니다.
• 설명 평가에서 인간 행동 실험은 설문된 문헌에서 드뭅니다.
• 대비적 설명, 귀인 이론, 설명 선택은 사회과학이 AI의 설명 설계 및 평가에 유용한 지침을 제공합니다.
• 설명은 모델 내부의 정적 공개가 아니라 대화의 맥락에서 상호작용하는 대화적 최대치를 따르는 것으로 다루어져야 한다는 점이 제시됩니다.
• 이 논문은 사회/행동 과학자와의 더 큰 협력 및 인간 행동 데이터에 기반한 평가를 촉진하고 DARPA의 인간-개입 강조와 맞춘다.