[논문 리뷰] Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience

Bhavya Ghai, Q. Vera Liao외 3명|arXiv (Cornell University)|2020. 01. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 103인용 수 18

한 줄 요약

이 논문은 기계 학습 교육에서 인간-AI 상호작용의 새로운 패러다임인 설명 가능 주도 학습(XAL)을 제안한다. 이는 주로 활동 학습 인터페이스에 국소 모델 설명을 통합하여 인간의 기계 학습 교육 능력을 향상시키는 것이다. 레이블 요청 전에 annotator가 모델의 예측과 근거를 보여줌으로써 신뢰도 조정을 향상시키고 더 풍부한 피드백을 가능하게 하지만, 이는 앵커 효과의 위험을 증가시키고 인지적으로 덜 참여하는 사용자에게 인지 부담을 증가시킬 수 있다.

ABSTRACT

The wide adoption of Machine Learning technologies has created a rapidly growing demand for people who can train ML models. Some advocated the term "machine teacher" to refer to the role of people who inject domain knowledge into ML models. One promising learning paradigm is Active Learning (AL), by which the model intelligently selects instances to query the machine teacher for labels. However, in current AL settings, the human-AI interface remains minimal and opaque. We begin considering AI explanations as a core element of the human-AI interface for teaching machines. When a human student learns, it is a common pattern to present one's own reasoning and solicit feedback from the teacher. When a ML model learns and still makes mistakes, the human teacher should be able to understand the reasoning underlying the mistakes. When the model matures, the machine teacher should be able to recognize its progress in order to trust and feel confident about their teaching outcome. Toward this vision, we propose a novel paradigm of explainable active learning (XAL), by introducing techniques from the recently surging field of explainable AI (XAI) into an AL setting. We conducted an empirical study comparing the model learning outcomes, feedback content and experience with XAL, to that of traditional AL and coactive learning (providing the model's prediction without the explanation). Our study shows benefits of AI explanation as interfaces for machine teaching--supporting trust calibration and enabling rich forms of teaching feedback, and potential drawbacks--anchoring effect with the model judgment and cognitive workload. Our study also reveals important individual factors that mediate a machine teacher's reception to AI explanations, including task knowledge, AI experience and need for cognition. By reflecting on the results, we suggest future directions and design implications for XAL.

연구 동기 및 목표

• 모델 설명이 활동 학습에서 인간의 '기계 학습 교사'의 경험과 성과에 미치는 영향을 조사하는 것.
• 설명이 활동 학습 인터페이스에서 신뢰도 조정과 피드백 품질을 향상시키는지 평가하는 것.
• 사용자 반응에 영향을 미치는 개인적 요인(예: 과제 지식, AI 경험, 인지 필요성)을 규명하는 것.
• 기계 학습 교육에서 설명을 인간-AI 인터페이스의 핵심 구성 요소로 사용하는 설계 함의를 탐색하는 것.
• 학습 결과와 사용자 경험 측면에서 XAL을 기존의 활동 학습 및 공동 학습과 비교하는 것.

제안 방법

• XAL은 활동 학습 루프에 국소 설명 방법(예: LIME 또는 유사한 기능 중요도 설명)을 통합하여 모델 예측을 설명한다.
• 참가자들은 불확실한 인스턴스를 선택하는 모델과 상호작용하며, 예측과 설명을 제시받고 레이블 요청과 피드백을 제공한다.
• 연구는 세 가지 조건을 비교한다: 기존 활동 학습(설명 없음), 공동 학습(예측만), XAL(예측 + 설명).
• Annotator는 레이블과 예측에 대한 피드백을 제공하며, 피드백 유형과 내용은 정성적 및 정량적으로 분석된다.
• 모델의 성능은 반복 과정 동안 추적되며, 자가 보고된 자신감과 테스트 성능의 일치도를 통해 신뢰도 조정이 측정된다.
• 통계 분석을 통해 조건 간 학습 효율성, 피드백 품질, 인지 부담을 평가한다.

실험 결과

연구 질문

• RQ1 모델 설명은 활동 학습 중 인간 annotator의 신뢰도 조정에 어떻게 영향을 미치는가?
• RQ2 모델 설명이 제공될 경우 인간 annotator가 자연스럽게 제공하는 피드백의 유형은 무엇인가?
• RQ3 설명의 존재가 기계 학습 교사의 인지 부담과 레이블 정확도에 어떤 영향을 미치는가?
• RQ4 과제 지식, AI 경험, 인지 필요성 등의 개인적 차이(예: 과제 지식, AI 경험, 인지 필요성)는 설명 기반 교육의 효과성에 어떤 영향을 미치는가?
• RQ5 학습 효율성과 피드백의 풍부함 측면에서 XAL은 기존 활동 학습 및 공동 학습과 어떻게 비교되는가?

주요 결과

• XAL은 자가 보고된 자신감과 실제 모델 성능 간의 일치도가 높아지면서 annotator가 모델에 대한 신뢰도를 조정하는 데 있어 뚜렷한 향상을 보였다.
• XAL 조건에서 annotator는 다른 조건보다 더 다양한 피드백과 통찰력 있는 피드백을 제공하였으며, 모델의 추론 오류 수정 및 기능 수준의 비판을 포함하였다.
• 설명의 사용은 명백한 앵커 효과를 유발하였으며, 특히 과제 지식이 낮은 사용자일수록 설명이 유력해지면 잘못된 모델 예측을 더 자주 수용하는 경향을 보였다.
• 인지 필요성이 낮은 참가자들은 XAL에서 더 높은 인지 부담을 보고하였으며, 이는 설명 기반 인터페이스가 반드시 모든 사용자에게 접근 가능한 것은 아님을 시사한다.
• 모델이 성숙함에 따라 XAL에서의 불확실성 샘플링이 점점 더 부담스러워졌는데, 이는 잘못된 예측에 대해 모델의 자신감이 증가하기 때문이었으며, 이는 설명 인식 샘플링 전략이 필요함을 시사한다.
• 본 연구는 효과적인 XAL이 정확한 설명 외에도 사용자 전문성과 피드백 성향을 고려한 맞춤형 설명 설계가 필요하다는 점을 밝혀냈다.