[논문 리뷰] Explainability via Interactivity? Supporting Nonexperts' Sensemaking of Pretrained CNN by Interacting with Their Daily Surroundings

Chao Wang, Pengcheng An|arXiv (Cornell University)|2021. 05. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 7

한 줄 요약

이 논문은 일상적인 물체를 촬영함으로써 전훈련된 컨volutional 신경망(CNN)을 비전문가 사용자가 상호작용적으로 탐색할 수 있도록 해주는 모바일 앱을 제시한다. 이는 예측에 영향을 주는 이미지 영역을 보여주는 클래스 활성화 맵(CAM)을 사용한다. 이 도구는 대학 강의에서 배포되어 디자인 학생들이 놀이적인 실습 경험을 통해 CNN의 능력과 한계에 대해 직관적이고 현실적인 통찰을 얻는 데 기여하였다.

ABSTRACT

Current research on Explainable AI (XAI) heavily targets on expert users (data scientists or AI developers). However, increasing importance has been argued for making AI more understandable to nonexperts, who are expected to leverage AI techniques, but have limited knowledge about AI. We present a mobile application to support nonexperts to interactively make sense of Convolutional Neural Networks (CNN); it allows users to play with a pretrained CNN by taking pictures of their surrounding objects. We use an up-to-date XAI technique (Class Activation Map) to intuitively visualize the model's decision (the most important image regions that lead to a certain result). Deployed in a university course, this playful learning tool was found to support design students to gain vivid understandings about the capabilities and limitations of pretrained CNNs in real-world environments. Concrete examples of students' playful explorations are reported to characterize their sensemaking processes reflecting different depths of thought.

연구 동기 및 목표

• 비전문가 사용자, 예를 들어 디자이너나 비기술 전문가를 대상으로 한 설명 가능한 인공지능(XAI) 도구의 격차를 해소하기 위해.
• 비전문가가 실제 환경에서 전훈련된 CNN이 어떻게 결정을 내리는지에 대해 실용적이고 직관적인 이해를 발전시킬 수 있도록 지원하기 위해.
• AI 모델과의 상호작용적이고 현실적인 참여가 비전문가 사용자의 이해 과정을 어떻게 지원할 수 있는지 탐색하기 위해.
• 놀이적이고 맥락 인식형 상호작용이 표면적인 예측을 넘어서 모델 행동에 대한 깊이 있는 통찰을 드러내는지 평가하기 위해.

제안 방법

• 연구진은 사용자가 일상적인 환경의 물체를 촬영하고, 전훈련된 CNN(예: VGG-19)을 사용하여 분류할 수 있는 모바일 앱을 개발하였다.
• 앱은 예측에 기여하는 가장 중요한 이미지 영역을 강조하기 위해 사후 XAI 기법인 클래스 활성화 맵(CAM)을 통합하였다.
• 사용자는 실시간으로 모델과 상호작용하며 조명, 시점 또는 물체의 맥락 변화가 분류 결과에 어떻게 영향을 주는지 관찰한다.
• 이 도구는 기계학습 경험 없이 30명의 디자인 학생이 참여한 대학 강의에서 배포되어 실제 세계에서의 탐색적 학습을 가능하게 하였다.
• 학생들은 놀라운 또는 유머러스러운 예측을 수집하고, 환경적 요인이 모델 행동에 미치는 영향을 추론하며, 이미지 콘텐츠를 수정함으로써 즉각적인 실험을 수행하였다.
• 연구진은 학생들의 상호작용과 반성을 분석하여, 표면적인 호기심에서 가설 기반 실험에 이르기까지 세 가지 수준의 이해 과정을 식별하였다.

실험 결과

연구 질문

• RQ1 비전문가 사용자가 실제 세계 상호작용을 통해 전훈련된 CNN을 실용적으로 이해할 수 있는 방법은 무엇인가?
• RQ2 비전문가가 상호작용적인 모바일 도구를 사용해 CNN 예측을 탐색할 때 나타나는 이해 과정 활동의 유형은 무엇인가?
• RQ3 클래스 활성화 맵을 통한 시각적 설명이 비전문가의 모델 결정 해석에 어떻게 기여하거나 방해하는가?
• RQ4 조명이나 물체의 맥락과 같은 환경적 요인이 비전문가의 CNN 행동 인식과 해석에 어떻게 영향을 미치는가?

주요 결과

• 학생들은 세 가지 명확한 수준의 이해 과정에 참여하였다: 유머러스하거나 인상적인 예측 수집, 환경적 요인이 결과에 미치는 영향 추론, 가설 검증을 위한 즉각적인 실험 수행.
• 클래스 활성화 맵의 사용은 학생들이 모델 예측을 특정 이미지 영역과 직접 연결함으로써 의사결정 과정을 더 잘 이해하도록 도왔다.
• 많은 학생들이 직접 상호작용을 통해 조명 민감도나 물체 맥락에 대한 민감도와 같은 CNN의 한계에 대해 더 생생하고 실용적인 이해를 얻었다.
• 이 도구는 비전문가가 모델 행동에 대한 가설을 세우고 실제 세계 환경에서 검증하는 데 성공적으로 기여하여 학습 서포트 도구로서의 잠재력을 보여주었다.
• 학생들은 부분적으로 드러난 물체나 배경의 혼잡함으로 인한 잘못된 분류와 같은 모델의 강건성과 실패 모드에 대해 더 높은 인식을 보였다.
• 놀이적이고 맥락 인식형 디자인은 수동적인 모델 출력 노출에 비해 지속적인 참여와 더 깊은 인지 처리를 유도하였다.