[논문 리뷰] Pitfalls of Explainable ML: An Industry Perspective

Sahil Verma, Aditya Lahiri외 2명|arXiv (Cornell University)|2021. 06. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 10

한 줄 요약

이 논문은 설명 가능한 기계학습(XAI)의 산업적 도입을 저해하는 여덟 가지 핵심 과제를 규명한다. 이는 설명 형식의 일관성 부족, 정량적 평가 지표 부족, 표준화된 워크플로우 부재, 비효율적 구현, 벤치마크 부족, 실행 가능한 설명 부재, 이해관계자 참여 부족, 약한 규제 유인 등이다. 저자는 XAI의 민주화를 위해 통합된 프레임워크와 다학제적 협업을 주장한다.

ABSTRACT

As machine learning (ML) systems take a more prominent and central role in contributing to life-impacting decisions, ensuring their trustworthiness and accountability is of utmost importance. Explanations sit at the core of these desirable attributes of a ML system. The emerging field is frequently called ``Explainable AI (XAI)'' or ``Explainable ML.'' The goal of explainable ML is to intuitively explain the predictions of a ML system, while adhering to the needs to various stakeholders. Many explanation techniques were developed with contributions from both academia and industry. However, there are several existing challenges that have not garnered enough interest and serve as roadblocks to widespread adoption of explainable ML. In this short paper, we enumerate challenges in explainable ML from an industry perspective. We hope these challenges will serve as promising future research directions, and would contribute to democratizing explainable ML.

연구 동기 및 목표

• 학계와 산업계의 관심이 증가하고 있음에도 불구하고, 설명 가능한 기계학습(XAI)의 광범위한 산업적 도입을 저지르는 주요 장애요인을 규명하고 이를 명확히 하기 위한 것이다.
• 특히 헬스케어, 금융, 형사사법과 같은 고위험 분야에서 학계의 XAI 연구와 실제 산업 현장의 구현 간 격차를 부각하기 위한 것이다.
• XAI의 민주화를 위해 공통된 언어, 표준화된 평가, 실행 가능한 설명, 이해관계자 기반 설계를 주장하기 위한 것이다.
• 모델 디버깅, 모니터링, 반복적 개선을 지원하는 확장성 있고 효율적이며 감사 가능한 XAI 시스템의 필요성을 강조하기 위한 것이다.

제안 방법

• 핀테크 및 헬스케어 분야의 스타트업, 공공기업, 비영리조직에서 활동하는 전문가들의 실무 경험을 종합하여 XAI 구현 과정에서 반복적으로 나타나는 과제를 도출한다.
• 실제 산업 현장의 사용 사례와 생산 환경에서 관찰된 기술적 한계에 기반하여 과제를 여덟 가지 핵심 연구 과제로 분류한다.
• LIME, SHAP, 반대사례 등 기존 XAI 기법의 형식 일관성, 평가, 확장성, 실행 가능성 등의 한계를 분석한다.
• 충성도, 강건성, 정밀도와 같은 기존 평가 지표를 설명 품질의 대체 지표로 평가하지만, 이들이 실제 사용자 유용성 반영에 한계가 있음을 지적한다.
• NLP 및 컴퓨터 비전 분야에서처럼 XAI 기법 간 공정한 비교를 가능하게 하기 위해 도메인 특화 벤치마크와 표준화된 평가 프레임워크의 필요성을 제안한다.
• 개발자와 최종 사용자가 설명의 피드백을 바탕으로 모델 동작을 공동 설계하고 개선할 수 있는 상호작용적이고 반복적인 XAI 워크플로우의 필요성을 주장한다.

실험 결과

연구 질문

• RQ1 XAI 기법 간 설명 형식의 일관성 부족은 비기술적 이해관계자들이 산업 현장에서 XAI 도입을 어렵게 하는 이유는 무엇인가?
• RQ2 LIME와 xLIME, 또는 SHAP와 그 변종 간 유사한 기법 간 객관적 비교를 가능하게 하기 위해 XAI의 정량적 지표를 어떻게 표준화할 수 있는가?
• RQ3 모델 모니터링, 디버깅, 검증을 포함한 전체 기계학습 라이프사이클에서 XAI를 활용하기 위한 누락된 워크플로우 가이드라인은 무엇인가?
• RQ4 기존 오픈소스 XAI 구현체(예: LIME, SHAP)는 왜 대규모 또는 분산 시스템(예: PySpark)에서는 비효율적인가? 이는 어떻게 해결할 수 있는가?
• RQ5 현재의 XAI 기법은 '왜' 설명을 넘어서 어떻게 모델 개선이나 특징 간섭을 위한 실행 가능한 인과적 제안을 제공할 수 있는가?
• RQ6 규제의 모호성과 약한 집행은 명백한 명성 및 준수 유인에도 불구하고 산업계의 XAI 투자 확대를 저지하는 데 어떤 역할을 하는가?

주요 결과

• 다양한 데이터 모odal리티 간 XAI 설명에 대한 공통된 어휘나 표준화된 형식이 없어, 비기술적 최종 사용자에게 혼란을 줄 뿐 아니라 사용성도 저하된다.
• 충성도, 강건성 등 다양한 지표가 존재하지만, XAI 기법 간 비교를 위한 단일 정량적 지표에 대한 합의가 없어 객관적 평가가 제한된다.
• 기존 XAI 기법은 주로 국소적이고 단일 데이터 포인트에 대한 설명을 위한 것으로 설계되어 있으며, 생산 환경에서의 모델 모니터링, 디버깅, 검증을 위한 공식적인 워크플로우가 부재하다.
• LIME 및 SHAP와 같은 오픈소스 XAI 프레임워크는 대규모 또는 분산 시스템을 고려하지 않아 최적화되어 있지 않으며, SHAP의 계산은 특정 모델에 대해 NP-난이도이므로 확장성에 한계가 있다.
• 표준화된 벤치마크가 부재함에도 불구하고 FICO, ERASER, MIMIC 등의 노력에도 불구하고 도메인 특화, 평가 가능하고 재사용 가능한 평가 프레임워크 부족으로 인해 진전이 저해된다.
• 현재 XAI 기법은 인과적 또는 실행 가능한 통찰을 제공하지 못해 개발자와 사용자가 모델이나 특징을 어떻게 수정하여 성과를 향상시킬지에 대한 안내를 받지 못한다.