[논문 리뷰] Please Stop Explaining Black Box Models for High Stakes Decisions.

Cynthia Rudin|arXiv (Cornell University)|2018. 11. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 140

한 줄 요약

이 논문은 의료 및 형사사법과 같은 고위험 분야에서 블랙박스 기계학습 모델의 사후 설명에 의존하는 것은 부적절하고 잠재적으로 해로울 수 있으며, 대신 본질적으로 해석 가능한 모델을 초보 단계부터 설계하는 것이 바람직하다고 주장한다. 이는 투명하지 않은 설명에 의존하는 것을 없애고 사회적 위험을 줄일 수 있다.

ABSTRACT

Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to explain black box models, rather than creating models that are interpretable in the first place, is likely to perpetuate bad practices and can potentially cause catastrophic harm to society. There is a way forward - it is to design models that are inherently interpretable.

연구 동기 및 목표

• 고위험 의사결정 환경에서 블랙박스 모델의 사후 설명에 대한 광범위한 의존을 비판하는 것.
• 설명을 통해 결함 있는 모델을 계속 유지하는 것의 위험을 부각하는 것.
• 설명 가능성 기반 접근 방식보다 본질적으로 해석 가능한 모델이 더 안전하고 지속 가능하다고 주장하는 것.
• 해석 가능한 모델을 설계하는 데 초점을 맞추어 기존의 투명하지 않은 모델을 설명하는 데서 연구 및 개발의 초점을 이동시키는 것.

제안 방법

• 기존의 블랙박스 모델을 설명하는 것에서 본질적으로 해석 가능한 모델를 설계하는 방식으로의 패러다임 전환을 제안하는 것.
• 해석 가능성은 모델 개발의 핵심 기능이 되어야 하며, 후속 조치가 아니라고 강조하는 것.
• 선형 모델, 결정 트리, 또는 명확한 특징 기여도를 가진 희소 모델과 같은 본질적으로 해석 가능한 모델 사용을 권장하는 것.
• 설명의 정확도 지표가 아니라 실제 의사결정 논리에 대한 투명성과 충실도를 기준으로 모델을 평가할 것을 제안하는 것.
• 해석 가능성은 고위험 응용 분야에서 오해와 예기치 않은 결과의 위험을 줄인다고 강조하는 것.
• 설명 복잡성보다 모델의 투명성을 우선시하는 평가 프레임워크를 재고할 것을 촉구하는 것.

실험 결과

연구 질문

• RQ1 왜 고위험 분야에서 블랙박스 모델의 사후 설명은 공정성과 안전성을 확보하는 데 부족한가?
• RQ2 중요한 응용 분야에서 본질적으로 해석 가능한 모델이 아니라 설명에 의존하는 데서 발생하는 체계적 위험은 무엇인가?
• RQ3 모델 설계는 어떻게 본질적인 해석 가능성부터 고려하도록 재조정할 수 있는가?
• RQ4 투명하지 않은 모델에 설명을 추가로 제공하는 것을 계속할 경우 발생하는 실질적이고 윤리적인 결과는 무엇인가?
• RQ5 설명 복잡성보다 투명성을 우선시하기 위해 어떤 새로운 평가 기준을 도입해야 하는가?

주요 결과

• 블랙박스 모델의 사후 설명은 종종 진정한 의사결정 논리를 포착하지 못해 오해를 초래하고 잠재적인 피해를 초래할 수 있다.
• 설명에 의존하는 것은 결함 있는 모델을 더욱 강화하고, 특히 형사사법 및 의료 분야와 같은 고위험 분야에서 잠재적 편향을 가림으로써 문제를 악화시킬 수 있다.
• 본질적으로 해석 가능한 모델은 오해의 위험을 줄이고 책임성과 신뢰도를 향상시킨다.
• 논문은 설명이 투명성의 대체 수단이 아니며, 모델 설계는 초보 단계부터 해석 가능성을 우선시해야 한다고 결론 내린다.
• 해석 가능한 모델로의 전환은 기술적으로 실현 가능할 뿐 아니라, 책임감 있는 AI 구현을 위해 윤리적으로 필수적이다.