[논문 리뷰] On the Importance of Application-Grounded Experimental Design for Evaluating Explainable ML Methods

Kasun Amarasinghe, Kit T. Rodolfa외 7명|arXiv (Cornell University)|2022. 06. 24.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 실제 전자상거래 사기 탐지 환경에서 후행 해석 가능성 기반 기계학습 방법의 엄밀한 응용 기반 평가를 제시한다. 도메인 전문가, 실제 데이터, 운영 지표를 활용하여 수행되었으며, 설명 기반의 추가적 유용성은 모델 점수만으로도 달성 가능한 바, 이는 이전 연구의 잘못된 실험 설계로 인해 도출된 결론에 도전하는 바이다. 본 연구는 실세계 구현 환경에서의 맥락 인식 평가 프레임워크의 필요성을 주장한다.

ABSTRACT

Most existing evaluations of explainable machine learning (ML) methods rely on simplifying assumptions or proxies that do not reflect real-world use cases; the handful of more robust evaluations on real-world settings have shortcomings in their design, resulting in limited conclusions of methods' real-world utility. In this work, we seek to bridge this gap by conducting a study that evaluates three popular explainable ML methods in a setting consistent with the intended deployment context. We build on a previous study on e-commerce fraud detection and make crucial modifications to its setup relaxing the simplifying assumptions made in the original work that departed from the deployment context. In doing so, we draw drastically different conclusions from the earlier work and find no evidence for the incremental utility of the tested methods in the task. Our results highlight how seemingly trivial experimental design choices can yield misleading conclusions, with lessons about the necessity of not only evaluating explainable ML methods using tasks, data, users, and metrics grounded in the intended deployment contexts but also developing methods tailored to specific applications. In addition, we believe the design of this experiment can serve as a template for future study designs evaluating explainable ML methods in other real-world contexts.

연구 동기 및 목표

• 실세계 구현 환경을 반영하는 현실적인, 응용 기반 실험 설계를 통해 설명 가능 기계학습 방법 평가의 격차를 해소하기 위해.
• 단순화된 가정, 대체 작업, 비전문가 사용자를 기반으로 한 이전 평가의 타당성을 도전하기 위해. 이러한 요소들은 방법의 유용성에 대한 오해를 초래할 수 있다.
• 메트릭 선택, 사용자 전문성, 작업 정밀도와 같은 실험 설계 선택이 XAI 방법의 효과성에 대한 결론에 심각한 영향을 미칠 수 있음을 입증하기 위해.
• 혼동 행렬 기반 또는 자가 보고 메트릭보다 운영 목표를 우선시하는 평가 프레임워크의 필요성을 주장하기 위해.
• 사기 탐지 외의 실세계 응용 분야에서 향후 XAI 평가를 위한 재현 가능한 실험 템plate를 제공하기 위해.

제안 방법

• 실제 구현 환경과 다름없는 단순화된 가정을 제거하기 위해 이전의 사기 탐지 연구(이エ수스 등, 2021)를 재설계하였다.
• 실제 전자상거래 거래 데이터와 전문가 수준의 사기 분석가를 실제 의사결정 과제의 도메인 전문가로 활용하였다.
• 통제된 내부 설계 실험에서 후행 해석 방법(LIME, SHAP, LRP)과 모델 점수를 함께 구현하였다.
• 혼동 행렬 기반 메트릭이 아닌, 실제 비즈니스 목표를 반영하는 운영 메트릭인 검출률 확률(PDR)을 성능 측정 지표로 사용하였다.
• 결정 속도, 결정 빈도, 정확도 등의 행동 데이터를 수집하여 설명의 실세계 영향을 평가하였다.
• 사용자 인식 평가 및 피드백 루프와 시간에 따른 학습의 한계를 파악하기 위해 후속 인터뷰를 실시하였다.

실험 결과

연구 질문

• RQ1 후행 해석 방법은 모델 점수만 사용할 경우에 비해 사기 분석가의 의사결정 정확도 및 운영 성능을 어느 정도 향상시키는가?
• RQ2 사용자 전문성, 작업 정밀도, 메트릭 선택과 같은 실험 설계 선택이 설명 가능 기계학습 방법의 유용성에 대한 결론에 어떤 영향을 미치는가?
• RQ3 사용자가 설명에 대해 보고한 자신감은 실세계 의사결정 과제에서 실제 성능 향상과 상관이 있는가?
• RQ4 실제 운영 환경에서 설명은 결정 시간을 단축하거나 검출률을 향상시키는가, 아니면 비효율성을 유발하는가?
• RQ5 혼동 행렬과 같은 비운영 메트릭을 사용하는 것과 PDR와 같은 비즈니스 관련 메트릭을 사용하는 것은 XAI 방법 평가에 어떤 영향을 미치는가?

주요 결과

• 검토된 후행 해석 방법(LIME, SHAP, LRP)은 기업 유용성을 반영하는 핵심 운영 메트릭인 검출률 확률(PDR)에 대해 추가적인 향상 효과를 보이지 않았다.
• 분석가들은 모델 점수만 제공된 경우에 비해 설명을 제시받은 경우에 유의미하게 느린 의사결정 속도를 보였으며, 이는 비즈니스 효율성에 부정적 영향을 미쳤다.
• 높은 수준의 자가 보고된 자신감에도 불구하고, 결정 빈도나 목적적 메트릭에서의 성능 향상은 측정되지 않았다.
• 본 연구의 결론은 이전 연구(Jesus 등, 2021)와 뚜렷하게 대비되며, 이는 유사한 방법을 사용했음에도 불구하고 이전 연구의 실험 설계에 심각한 결함이 있었기 때문이다.
• 실사용자, 실제 데이터, 운영 기반 메트릭을 활용한 실험 설계 변경으로 이전 평가와 근본적으로 다른 결론이 도출되었다.
• 일반적인 후행 해석 방법은 사기 탐지와 같이 고위험 실세계 환경에서는 효과적이지 않으며, 이는 적용 분야에 특화된 방법 개발의 필요성을 시사한다.