[논문 리뷰] Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting

Ana Lučić, Hinda Haned외 1명|UvA-DARE (University of Amsterdam)|2019. 07. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 7

한 줄 요약

이 논문은 소매 예측 모델의 큰 예측 오차를 설명하기 위해 대조적 국소 해석 방법인 MC-BRP를 제안한다. 이 방법은 합리적인 예측을 위해 필요한 특성의 범위와 추세를 식별하여 사용자가 큰 예측 오차를 이해하는 데 크게 기여한다. 75명의 참가자가 참여한 사용자 연구에서 MC-BRP 설명을 제공한 결과, 모델 오차에 관한 객관적 질문에 대해 81.1%의 정확도를 기록하여 복잡한 '블랙박스' 모델에 대한 높은 해석 가능성과 실행 가능성(가능성)을 입증했다.

ABSTRACT

In various business settings, there is an interest in using more complex machine learning techniques for sales forecasting. It is difficult to convince analysts, along with their superiors, to adopt these techniques since the models are considered to be "black boxes," even if they perform better than current models in use. We examine the impact of contrastive explanations about large errors on users' attitudes towards a "black-box'" model. We propose an algorithm, Monte Carlo Bounds for Reasonable Predictions. Given a large error, MC-BRP determines (1) feature values that would result in a reasonable prediction, and (2) general trends between each feature and the target, both based on Monte Carlo simulations. We evaluate on a real dataset with real users by conducting a user study with 75 participants to determine if explanations generated by MC-BRP help users understand why a prediction results in a large error, and if this promotes trust in an automatically-learned model. Our study shows that users are able to answer objective questions about the model's predictions with overall 81.1% accuracy when provided with these contrastive explanations. We show that users who saw MC-BRP explanations understand why the model makes large errors in predictions significantly more than users in the control group. We also conduct an in-depth analysis on the difference in attitudes between Practitioners and Researchers, and confirm that our results hold when conditioning on the users' background.

연구 동기 및 목표

• 소매 예측에 사용되는 복잡한 '블랙박스' 기계학습 모델에서 큰 예측 오차를 설명하는 데 도전하는 것.
• 합리적인 예측을 이끌어내는 데 필요한 특성 값의 대비를 보여주는 대조적 설명을 제공함으로써 사용자의 모델 실패에 대한 신뢰도와 이해도를 향상시키는 것.
• 이러한 설명이 사용자가 모델 오차를 이해하고 대응할 수 있는 능력을 향상시키는지 평가하는 것, 특히 실제 비즈니스 환경에서의 적용을 고려하여.
• 실제로 모델 오차 설명을 접한 전문가와 연구자 간의 사용자 인식 차이를 조사하는 것.
• 기계학습 전문 지식 수준이 다른 사용자 모두에게도 이해 가능하고 실행 가능한 방법을 개발하는 것.

제안 방법

• MC-BRP는 몬테카를로 시뮬레이션을 사용하여 주어진 큰 오차에 대해 합리적인 예측을 내는 데 성공하는 입력 인스턴스의 변형된 버전을 생성한다.
• 각 중요한 특성에 대해 합리적인 예측을 내는 데 성공한 변형된 값의 범위(평균 ± 표준편차)를 계산하여 실행 가능한 임계값을 제공한다.
• 각 특성과 목표 변수 간의 피어슨 상관관계를 계산하여 예측에 영향을 주는 일반적인 추세를 파악한다.
• 이 방법은 사전 예측이 아닌 사후 설명에 초점을 맞추며, 참값을 기반으로 설명 생성을 이끈다.
• 설명은 '무엇이 잘못되었는가'와 '어떤 값이 합리적이었을 것인가'의 대조 쌍으로 제시된다.
• 이 방법은 모델에 종속되지 않으며, 오차 거리 정의나 모든 오차를 큰 오차로 간주함으로써 분류 문제로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 RQ1: MC-BRP 설명이 제공하는 특성의 범위와 추세를 바탕으로 사용자가 모델 출력을 시뮬레이션하는 데 얼마나 해석 가능할까?
• RQ2 RQ2: MC-BRP 설명을 통해 사용자가 합리적인 예측을 이끌어내는 데 필요한 특성 값의 변화를 식별하는 데 얼마나 실행 가능할까?
• RQ3 RQ3: MC-BRP 설명은 사용자가 모델이 큰 오차를 일으킨 이유를 이해하는 데 도움이 되는가? (설명 없이 비교할 때)
• RQ4 RQ4: MC-BRP 설명은 사용자의 모델 배포 지원, 모델에 대한 신뢰도, 또는 성능 인식을 향상시키는가?
• RQ5 RQ5: 전문가와 연구자 간에 모델 오차 설명에 대한 인식에 차이가 있으며, MC-BRP의 효과성은 사용자 배경에 따라 달라지는가?

주요 결과

• MC-BRP 설명을 제공받은 사용자가 모델 예측에 관한 객관적 질문에 대해 81.1%의 정확도를 기록하여 대조군보다 유의미하게 높은 성능을 보였다.
• 앞선 시뮬레이션에서 사용자는 MC-BRP 설명을 바탕으로 모델 출력을 예측하는 데 84.5%의 정확도를 달성하여 설명의 해석 가능성 확인.
• 반대 조건 시뮬레이션에서 사용자는 합리적인 예측을 이끌어내는 데 필요한 특성 값의 변화를 식별하는 데 76.2%의 정확도를 기록하여 실행 가능성 입증.
• MC-BRP는 사용자가 모델이 큰 오차를 일으키는 이유를 이해하는 데 유의미하게 향상시켰다(SQ1). 그러나 신뢰도, 배포 지원, 성능 인식에 대한 영향은 유의미하지 않았다(SQ2–SQ4).
• 전문가와 연구자 간에 SQ2, SQ3, SQ4에 대한 반응에 유의미한 차이가 있었지만, 오류 원인 이해도(SQ1)에는 유의미한 차이가 없었다.
• 사용자 배경에 따라 조건을 설정해도 방법의 효과성이 유지되어 다양한 전문 지식 수준에서의 강건성을 입증했다.