[논문 리뷰] Play MNIST For Me! User Studies on the Effects of Post-Hoc, Example-Based Explanations & Error Rates on Debugging a Deep Learning, Black-Box Classifier.

Courtney Ford, Eoin M. Kenny외 1명|arXiv (Cornell University)|2020. 09. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 5

한 줄 요약

이 연구는 MNIST 숫자 이미지에 대한 블랙박스 딥러닝 분류기의 인간 인식에 대해 사후적, 예시 기반 설명과 오류율이 미치는 영향을 조사한다. 유사한 학습 사례를 검색하여 예측을 설명하는 ANN-CBR 쌍둥이 시스템을 사용한 연구 결과, 이러한 설명은 잘못 분류된 예측에 대해 더 높은 정확도 인식을 유도하는 반면, 약 4% 이상의 오류율은 신뢰도, 타당성, 정확도 인식을 크게 감소시킴을 확인하였다.

ABSTRACT

The IJCAI-20 Workshop on Explainable AI (XAI), Online Conference, 8 January 2021

연구 동기 및 목표

• 사후적, 예시 기반 설명이 인간이 블랙박스 딥러닝 분류기의 성능을 인식하는 데 미치는 심리적 영향을 평가하기 위해.
• 다양한 오류율이 사용자의 신뢰도, 정확도 평가, 타당성 인식에 미치는 영향을 분석하기 위해.
• ANN-CBR 쌍둥이 시스템이 딥 네트워크 예측에 대해 직관적인 케이스 기반 설명을 생성하는 데 얼마나 효과적인지 평가하기 위해.
• 실제 디버깅 환경에서 인간의 반응을 테스트하여 XAI에 대한 경험적 검증을 기여하기 위해.

제안 방법

• MNIST 데이터셋에 대해 훈련된 CNN의 예측을 설명하기 위해 ANN-CBR 쌍둥이 시스템을 구현하였다.
• 특징 가중치 기법을 사용해 CNN에서 주요 특징을 추출하고, 이를 MNIST 데이터셋에 대한 k-NN 검색에 매핑하여 관련된 유사 학습 예제를 검색하였다.
• 참가자들은 개별 MNIST 이미지 분류 결과(정확한 경우와 잘못된 경우)를 설명이 있는 경우와 없는 경우로 나누어 제시받았다.
• 참가자들은 표준화된 설문지를 통해 각 예측에 대해 정확도, 타당성, 신뢰도, 만족도를 평가하였다.
• 설명의 유무와 분류기의 오류율(약 1%에서 약 10%)을 변화시킨 두 번의 사용자 실험(N=349)을 실시하였다.
• 혼합 방법론을 사용하여 정량적 평가와 정성적 통찰을 결합하였으며, 지역-전역 평가 프레임워크를 따르였다.

실험 결과

연구 질문

• RQ1 사후적, 예시 기반 설명은 잘못 분류된 MNIST 숫자에 대해 사용자의 정확도 인식에 어떤 영향을 미치는가?
• RQ2 오류율이 증가할수록 사용자의 신뢰도, 타당성, 정확도 인식은 어떻게 변화하는가?
• RQ3 케이스 기반 설명은 모델 오류에 대한 부정적인 인식을 어느 정도 완화하는가?
• RQ4 오류율이 낮을 때와 높을 때 사용자가 설명을 더 신뢰하게 되는가?

주요 결과

• 사후적, 예시 기반 설명은 참가자들이 잘못 분류된 예측을 실제보다 더 정확하다고 평가하게 만들었으며, 이는 설명된 오류에 대한 인식 편향을 시사한다.
• 오류율이 약 4%를 초과할 경우, 참가자들은 분류기의 신뢰도를 크게 감소시켰으며, 이는 모델이 더 정확도가 낮고, 더 타당성이 없고, 더 신뢰할 수 없다고 인식하게 되었다.
• 케이스 기반 설명의 존재는 정확한 예측뿐 아니라 잘못된 예측의 정확도 인식까지 높였으며, 이는 설명이 잘못된 신뢰감을 유도할 수 있음을 시사한다.
• 오류율이 약 4%를 초과할 경우, 참가자들의 신뢰도와 만족도가 급격히 감소하여 사용자 수용에 임계점이 존재하는 것으로 나타났다.
• 연구 결과는 설명만으로는 높은 오류율을 보상할 수 없으며, 오류율이 사용자 신뢰도와 시스템 인식에 중요한 요소임을 확인하였다.
• 결과는 효과적인 XAI를 실현하기 위해 설명의 품질과 모델의 신뢰성의 조합이 필수적임을 강조한다.