[논문 리뷰] "Why Should I Trust Interactive Learners?" Explaining Interactive Queries of Classifiers to Users

Stefano Teso, Kristian Kersting|arXiv (Cornell University)|2018. 05. 22.

Machine Learning and Algorithms참고 문헌 35인용 수 7

한 줄 요약

이 논문은 설명 가능한, 모델에 종속되지 않는 설명을 통해 사용자에게 질의와 예측을 설명함으로써 상호작용 기계 학습 학습자에 대한 신뢰를 향상시키는 설명 기반 상호작용 학습 프레임워크를 소개한다. LIME 기반 설명과 사용자 설명에 대한 피드백을 통합한 활성 학습 확장인 caipi 방법을 사용하여, 통제 실험과 사용자 연구를 통해 모델 성능 향상, 설명 품질 향상, 사용자 신뢰 증가를 입증한다.

ABSTRACT

Although interactive learning puts the user into the loop, the learner remains mostly a black box for the user. Understanding the reasons behind queries and predictions is important when assessing how the learner works and, in turn, trust. Consequently, we propose the novel framework of explanatory interactive learning: in each step, the learner explains its interactive query to the user, and she queries of any active classifier for visualizing explanations of the corresponding predictions. We demonstrate that this can boost the predictive and explanatory powers of and the trust into the learned model, using text (e.g. SVMs) and image classification (e.g. neural networks) experiments as well as a user study.

연구 동기 및 목표

• 투명한 의사결정 과정으로 인해 상호작용 기계 학습 시스템에 대한 신뢰 부족 문제를 해결하기 위해.
• 질의와 예측의 설명이 상호작용 학습자에 대한 사용자 신뢰를 어떻게 향상시킬 수 있는지 조사하기 위해.
• 설명 피드백을 활성 학습에 통합하여 모델 성능 향상과 투명성 향상을 위한 프레임워크를 개발하기 위해.
• 설명 수정이 모델 학습과 사용자 신뢰 인식에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 학습자가 각 상호작용 단계에서 자신의 질의와 예측을 사용자에게 설명하는 새로운 프레임워크인 설명 기반 상호작용 학습을 제안한다.
• 모델 및 설명 도구에 종속되지 않는 caipi 방법을 도입하여, 질의 인스턴스에 대한 LIME 기반 국소 설명과 함께 활성 학습을 확장한다.
• 사용자가 설명을 수정할 수 있도록 하여, 레이블 수정 외에도 모델 학습을 이끄는 새로운 피드백 채널을 제공한다.
• 데이터 증강 전략을 사용하여 설명 수정을 학습 과정에 통합함으로써, 모델이 사용자 의도와 더 잘 일치하도록 개선한다.
• 어떤 블랙박스 분류기와도 통합 가능한 모듈식 설계를 채택하여, LIME와 같은 국소 설명 도구와도 호환된다.
• 예측 및 설명 피드백을 모두 지원하여, 사용자가 레이블 뿐 아니라 모델의 추론 방식까지도 수정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 상호작용 질의의 설명은 어떻게 사용자 신뢰를 향상시킬 수 있는가?
• RQ2 레이블 외에 설명에 대한 피드백이 모델의 품질과 정확도 향상에 기여할 수 있는가?
• RQ3 설명 수정을 통합하면 활성 학습에서 수렴 속도 향상과 더 나은 일반화 성능 달성이 가능한가?
• RQ4 설명의 통합은 사용자 인식에 있어 모델의 전문성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 설명 수정은 설명 품질을 크게 향상시키며, 보조 모델에 비해 테스트 세트의 설명 품질이 시간이 지남에 따라 지속적으로 향상된다.
• 설명 수정을 통한 모델은 특히 텍스트 분류 작업에서 올바른 의미적 개념을 더 잘 포착하여 예측 성능이 향상되었다.
• 이미지 분류 작업에서는 혼동 변수나 모호한 데이터가 존재할 경우, 설명 수정을 통해 모델이 더 빨리 올바른 개념을 학습하였다.
• 사용자 연구 결과, 질의 설명이 모델의 행동과 투명성에 따라 사용자 신뢰를 유도하거나 저하시킬 수 있음을 확인하였다.
• L1 SVM 모델은 설명 수정이 제공될 경우 목표 규칙과 더 잘 일치하는 경향을 보이며, 더 빠른 수렴 속도를 보였다.
• 설명 피드백를 통해 모델의 추론 과정을 시각화하고 수정 가능하게 하여, 활성 학습을 협업 기반 과정으로 성공적으로 전환하였다.