[논문 리뷰] Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead

Cynthia Rudin|arXiv (Cornell University)|2018. 11. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 47인용 수 44

한 줄 요약

본 논문은 고위험 의사결정은 블랙박스 모델의 설명 보다는 본질적으로 해석 가능한 모델에 의존해야 한다고 주장하며, 설명가능한 ML이 왜 결함이 있는지와 해석 가능한 ML이 어떻게 개발되고 관리될 수 있는지에 대해 논의한다.

ABSTRACT

Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to extit{explain} black box models, rather than creating models that are extit{interpretable} in the first place, is likely to perpetuate bad practices and can potentially cause catastrophic harm to society. There is a way forward -- it is to design models that are inherently interpretable. This manuscript clarifies the chasm between explaining black boxes and using inherently interpretable models, outlines several key reasons why explainable black boxes should be avoided in high-stakes decisions, identifies challenges to interpretable machine learning, and provides several example applications where interpretable models could potentially replace black box models in criminal justice, healthcare, and computer vision.

연구 동기 및 목표

• 고위험 도메인에서 블랙박스 ML를 설명하는 데 따른 한계와 위험을 명확히 한다.
• 설계상 신뢰할 수 있는 설명을 제공하는 본질적으로 해석 가능한 모델의 사용을 옹호한다.
• 형사사법, 의료 등 다양한 영역에서 도메인 특화 해석 가능성 제약과 이점을 식별한다.
• 해석 가능한 ML 채택 시 거버넌스, 정책 함의 및 실무적 도전에 대해 논의한다.

제안 방법

• 설명가능한 ML과 본질적으로 해석 가능한 모델을 비판적으로 비교하고 설명과 원래 모델 간의 충실도 문제를 논의한다.
• CORELS 해석 가능한 규칙 목록 접근법을 경쟁력 있는 정확도를 지닌 희소하고 해석 가능한 모델의 예로 제시한다.
• 도메인 특화 제약 하에서 해석 가능한 모델을 구성할 때의 구조적 설계 및 최적화상의 도전을 개요한다.
• 실제 도메인에서 블랙박스 모델과 해석 가능한 대안 간의 질적 비교를 제시한다.

실험 결과

연구 질문

• RQ1 본질적으로 해석 가능한 모델이 고위험 작업에서 블랙박스 모델과 동등한 정확도를 달성할 수 있는가?
• RQ2 민감한 도메인에서 해석 가능한 ML의 채택에 대한 주요 실무 및 거버넌스 장애물은 무엇인가?
• RQ3 희소성, 가법성, 단조성, 인과성 등 도메인 지식을 충족하도록 해석 가능한 모델을 어떻게 구성할 수 있는가?
• RQ4 고위험 의사결정에서 블랙박스 모델에 대한 사후 설명의 한계는 무엇인가?
• RQ5 블랙박스에서 해석 가능한 모델로의 전환을 촉진할 수 있는 정책 제안은 무엇인가?

주요 결과

• 설명 가능한 사후 메서드들은 종종 주석과 함께 충실한 근사 설명을 생산하지만 경고가 필요하고 오해를 유발할 수 있다.
• 의미 있는 특징이 사용될 때 구조화된 데이터 환경에서 해석 가능한 모델이 블랙박스 모델과 비교 가능한 예측 성능을 달성할 수 있다.
• 고위험 맥락에서 독점 블랙박스 모델을 배치하는 데 상당한 거버넌스 및 비즈니스 모델상의 장애물이 있다.
• CORELS와 같은 해석 가능한 모델은 단순하고 투명한 규칙이 특정 재범 예측 작업에서 복잡한 모델과 경쟁할 수 있음을 시연한다.
• 정책 및 규제 고려 사항은 블랙박스 대안과 비슷한 성능을 제공할 때 해석 가능한 모델의 사용을 의무화할 수 있다.