[논문 리뷰] Explanation-Based Tuning of Opaque Machine Learners with Application to Paper Recommendation

Benjamin Charles Germain Lee, Kyle Lo외 2명|arXiv (Cornell University)|2020. 03. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 4

한 줄 요약

이 논문은 LIMEADE라는 프레임워크를 소개한다. 이 프레임워크는 신경망 추천기와 같은 투명하지 않은 기계학습 모델을 로컬 서rogate 설명(예: LIME)을 기반으로 사용자가 조정할 수 있도록 한다. 의미적 안정성(Semantic Sanity)이라는 과학 논문 추천 시스템에 적용한 결과, 사용자 연구에서 사용자 통제력, 신뢰도, 만족도가 크게 향상되었으며, 흑상자 모델의 설명과 상호작용 가능한 모델 조정 간 격차를 메웠다.

ABSTRACT

Research in human-centered AI has shown the benefits of machine-learning systems that can explain their predictions. Methods that allow users to tune a model in response to the explanations are similarly useful. While both capabilities are well-developed for transparent learning models (e.g., linear models and GA2Ms), and recent techniques (e.g., LIME and SHAP) can generate explanations for opaque models, no method currently exists for tuning of opaque models in response to explanations. This paper introduces LIMEADE, a general framework for tuning an arbitrary machine learning model based on an explanation of the model's prediction. We apply our framework to Semantic Sanity, a neural recommender system for scientific papers, and report on a detailed user study, showing that our framework leads to significantly higher perceived user control, trust, and satisfaction.

연구 동기 및 목표

• 설명 방법의 발전에도 불구하고 투명하지 않은(블랙박스) 기계학습 모델에 대한 상호작용적 조정 기능의 부족을 해결하기 위해.
• 로컬 예측 설명을 바탕으로 모델 동작을 사용자가 조정할 수 있는 일반 목적의 프레임워크를 개발하기 위해.
• 설명 기반 조정이 실제 추천 시스템에서 사용자 통제력, 신뢰도, 만족도 인식을 향상시키는지 평가하기 위해.
• 실제 환경에서의 적용과 검증을 위해 과학 논문 추천이라는 실용적 설정에서 사용자 연구를 통해 프레임워크를 적용하기 위해.

제안 방법

• LIMEADE는 투명하지 않은 모델(예: 신경망)의 예측을 해석하기 위해 로컬 서rogate 설명(예: LIME)을 통합한다.
• 설명에서 유의미한 특징을 사용자에게 노출시켜, 사용자가 직접 특징 가중치나 값을 수정할 수 있도록 한다.
• 사용자가 지정한 변경 사항은 원본 모델의 입력 공간으로 매핑되고, 모델의 예측은 조정된 동작을 반영하도록 재평가된다.
• 이 프레임워크는 반복적 조정을 지원하여 사용자가 순차적인 설명 기반 조정을 통해 예측을 정밀하게 다듬을 수 있다.
• 이 방법은 LIME 및 SHAP와 같은 모델에 종속되지 않는 설명 기법에 모두 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 사용자는 설명 기반 피드백을 통해 투명하지 않은 기계학습 모델을 효과적으로 조정할 수 있는가?
• RQ2 설명 기반 조정은 사용자가 모델 예측에 대한 통제력을 높게 느끼게 하는가?
• RQ3 설명 기반 상호작용 조정은 사용자의 모델 추천에 대한 신뢰도를 향상시키는가?
• RQ4 설명 기반 조정이 제공되는 시스템은 비조정 가능 또는 비설명적 시스템에 비해 사용자 만족도가 높은가?

주요 결과

• LIMEADE를 사용한 사용자들은 비조정 가능 기준 대비 통제력 인식이 유의미하게 높다고 보고했다.
• 사용자가 설명 기반 조정에 참여한 후 모델의 추천에 대한 신뢰도가 크게 증가했다.
• 설명을 통한 조정 기능이 제공된 경우 사용자 만족도가 유의미하게 높아졌다.
• 이 프레임워크는 사용자가 복잡한 신경망 추천 시스템에 직관적이고 행동적으로 의미 있는 조정을 성공적으로 수행할 수 있도록 했다.