[논문 리뷰] Augmented cross-selling through explainable AI -- a case from energy retailing

Felix Haag, Konstantin Hopf외 2명|arXiv (Cornell University)|2022. 08. 24.

Forecasting Techniques and Applications인용 수 5

한 줄 요약

이 논문은 에너지 유통 분야에서의 컬러셀링을 향상시키기 위해 모델의 해석 가능성과 사용자 신뢰를 제고하기 위해 SHAP를 활용한 해석 가능한 인공지능(XAI) 프레임워크를 제안한다. 220,185명의 고객 데이터를 바탕으로 한 모델은 교차 구매를 예측하는 데 최대 86%의 AUC를 기록했으며, SHAP 설명은 실제 구매 행동과 일치하는 것으로 경험적으로 검증되었다.

ABSTRACT

The advance of Machine Learning (ML) has led to a strong interest in this technology to support decision making. While complex ML models provide predictions that are often more accurate than those of traditional tools, such models often hide the reasoning behind the prediction from their users, which can lead to lower adoption and lack of insight. Motivated by this tension, research has put forth Explainable Artificial Intelligence (XAI) techniques that uncover patterns discovered by ML. Despite the high hopes in both ML and XAI, there is little empirical evidence of the benefits to traditional businesses. To this end, we analyze data on 220,185 customers of an energy retailer, predict cross-purchases with up to 86% correctness (AUC), and show that the XAI method SHAP provides explanations that hold for actual buyers. We further outline implications for research in information systems, XAI, and relationship marketing.

연구 동기 및 목표

• 실제 비즈니스 의사결정에 해석 가능한 인공지능(XAI)을 통합하여 기계학습 모델의 신뢰성과 도입 격차를 해소하고자 한다.
• SHAP 기반 설명이 에너지 유통 환경 내 교차 구매 예측에 대한 사용자의 이해도와 자신감을 향상시키는지 평가하고자 한다.
• 실제 고객 구매 행동과 일치하는가를 경험적으로 검증하여 XAI 설명의 타당성을 입증하고자 한다.
• 정보 시스템, XAI 및 관계 마케팅 연구에 실질적인 통찰을 제공하고자 한다.
• 규제가 엄격한 고객 대응 비즈니스 환경에서 높은 정확도의 기계학습 모델과 해석 가능한 출력을 조합함으로써 실용적 가치를 입증하고자 한다.

제안 방법

• 이 연구는 220,185명의 에너지 유통 고객 데이터셋을 기반으로 하여 교차 구매 가능성 예측을 위한 지도 학습 모델을 활용한다.
• 예측 성능을 극대화하기 위해 기반 학습기로 기울기 부스팅 트리 모델(XGBoost)을 사용한다.
• SHAP(SHapley Additive exPlanations)를 적용하여 개별 예측에 대한 기능 기여도를 할당함으로써 국소적 해석 가능성을 확보한다.
• SHAP 값은 일부 고객 구매자 집단에 대해 경험적으로 검증을 통해 실제 고객 행동과의 일관성을 평가한다.
• 모델 성능은 AUC(ROC 곡선 아래 면적) 기준으로 측정되며, 결과적으로 높은 예측 정확도를 나타낸다.
• 프레임워크는 모델 출력과 인간 기반 의사결정 지원을 통합하여 영업 직원이 해석 가능한 통찰을 바탕으로 행동할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 SHAP 기반 설명은 교차 판매 예측의 해석 가능성과 신뢰성에 얼마나 기여하는가?
• RQ2 실제 에너지 유통 환경에서 SHAP 설명은 실제 고객 구매 결정과 얼마나 잘 일치하는가?
• RQ3 기계학습 모델은 잠재적 교차 구매 기회를 식별하는 데 어떤 예측 성능를 보이는가?
• RQ4 해석 가능한 인공지능 기법은 비기술적 비즈니스 사용자들이 ML 모델을 얼마나 잘 도입하고 활용할 수 있도록 돕는가?
• RQ5 규제 산업에서 XAI 통합이 관계 마케팅 및 고객 유지를 위한 전략에 어떤 영향을 미치는가?

주요 결과

• 기계학습 모델은 최대 86%의 예측 AUC를 기록하여 잠재적 교차 구매 고객을 식별하는 데 강력한 성능을 보였다.
• SHAP 설명은 경험적으로 의미 있는 것으로 입증되었으며, 실제 구매 행동과 일치하는 특징을 일관되게 강조했다.
• XAI 통합으로 인해 모델의 투명성이 향상되어 영업 담당자와 같은 비즈니스 사용자들이 모델을 더 많이 도입할 가능성이 높아졌다.
• 예측에 영향을 주는 주요 특징으로는 고객의 계약 기간, 계약 유형, 사용 패턴이 있었으며, 이는 SHAP를 통해 일관되게 영향력 있는 요소로 확인되었다.
• 높은 정확도의 모델에 해석 가능한 출력을 결합함으로써 더 실용적이고 신뢰할 수 있는 비즈니스 의사결정이 가능하다는 점을 입증했다.
• 결과적으로 XAI는 단지 실현 가능할 뿐 아니라 에너지 유통과 같은 전통적이고 규제가 엄격한 산업에서 매우 유용하다는 점을 시사한다.