[논문 리뷰] Individual Explanations in Machine Learning Models: A Survey for Practitioners

Alfredo Carrillo, Luis Fernando Cantú외 1명|arXiv (Cornell University)|2021. 04. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 30인용 수 13

한 줄 요약

이 종합 검토는 기계학습 모델에서 개별 예측을 설명하는 데 초점을 맞춘 최신 기법들에 대한 종합적인 분류 체계와 검토를 제공한다. 국소 해석 가능성에 중점을 두며, LIME 및 SHAP와 같은 모델에 종속되지 않는 기법들과 신경망 및 트리 기반 모델을 위한 모델에 종속적인 접근 방식을 비교하여 각각의 강점, 한계 및 고위험 분야의 실질적 응용에 적합성에 대해 설명한다.

ABSTRACT

In recent years, the use of sophisticated statistical models that influence decisions in domains of high societal relevance is on the rise. Although these models can often bring substantial improvements in the accuracy and efficiency of organizations, many governments, institutions, and companies are reluctant to their adoption as their output is often difficult to explain in human-interpretable ways. Hence, these models are often regarded as black-boxes, in the sense that their internal mechanisms can be opaque to human audit. In real-world applications, particularly in domains where decisions can have a sensitive impact--e.g., criminal justice, estimating credit scores, insurance risk, health risks, etc.--model interpretability is desired. Recently, the academic literature has proposed a substantial amount of methods for providing interpretable explanations to machine learning models. This survey reviews the most relevant and novel methods that form the state-of-the-art for addressing the particular problem of explaining individual instances in machine learning. It seeks to provide a succinct review that can guide data science and machine learning practitioners in the search for appropriate methods to their problem domain.

연구 동기 및 목표

• 범죄 사법, 의료, 금융과 같은 고위험 분야에서 증가하는 해석 가능한 기계학습의 필요성을 해결하기 위해.
• 개별 예측에 맞춤형으로 설계된 국소 설명 방법의 체계적 분류 체계를 실무자들에게 제공하기 위해.
• 특히 랜덤 포레스트와 기울기 부스팅과 같은 복잡한 트리 기반 모델에 대한 현재 기법의 격차를 특정하기 위해.
• 모델 유형, 해석 가능성 요구사항, 계산 자원 제약 조건에 따라 데이터 과학자들이 적절한 설명 기법을 선택할 수 있도록 안내하기 위해.
• 최근 트렌드인 트리 기반 모델에 대한 해석 가능성으로의 전환을 부각시키며, 이는 실생활 응용에서 점점 더 지배적인 추세이기 때문이다.

제안 방법

• 해석 방법을 세 가지 축(범위: 국소 대 전역, 일반성: 모델에 종속되지 않는 대 모델에 종속적인, 설명 유형: 예를 들어 기능 기여도, 대체 시나리오)에 따라 분류한다.
• 입력 변형을 통한 편차 기반 접근 방식(예: LIME, SHAP)을 사용하는 모델에 종속되지 않는 방법을 검토하여 국소 모델 행동을 근사한다.
• 대조 기반 방법(예: 대체 시나리오, 프로토타입)을 분석하여 유사하지만 다른 인스턴스와의 비교를 통해 예측을 설명한다.
• 내부 기울기와 활성화 맵을 활용하는 컨volutional 신경망(예: Grad-CAM, 통합 기울기, I-GOS)을 위한 모델에 종속적인 기법을 분석한다.
• 일般 신경망 및 의사결정 트리에 맞춤형으로 설계된 방법을 논의하며, 트리 앙상블에 대해 충실하고 편향이 없는 기능 기여도를 계산하는 데 SHAP 값들을 활용하는 TreeExplainer를 포함한다.
• 시각적 설명(예: 히트맵)의 충실도와 인간의 이해 가능성 평가를 수행하며, 흐릿하거나 오해의 소지가 있는 사활 지도 등의 한계를 규명한다.

실험 결과

연구 질문

• RQ1 기계학습에서 국소 설명 방법에 대한 핵심 분류 체계와 분류 기준은 무엇인가?
• RQ2 LIME 및 SHAP와 같은 모델에 종속되지 않는 기법들이 개별 예측에 대해 충실도, 계산 비용, 해석 가능성 측면에서 어떻게 비교되는가?
• RQ3 Grad-CAM 및 통합 기울기와 같은 시각 기반 설명 기법들이 충실도와 인간 이해 측면에서 어떤 한계를 지니는가?
• RQ4 실제로 높은 성능과 해석 가능성에도 불구하고 현재의 설명 기법들이 왜 트리 기반 모델에 대해서는 효과적이지 않은가?
• RQ5 특히 트리 기반 모델에 초점을 맞춘 미래 연구에 영향을 미칠 만한 모델 해석 가능성의 신규 트렌드는 무엇인가?

주요 결과

• 모델에 종속되지 않는 기법들인 LIME 및 SHAP는 광범위하게 적용 가능하지만, 특히 고차원 특징 공간에서는 표본 추출의 변동성과 편향으로 인해 문제가 될 수 있다.
• 통합 기울기 기법은 표준 기울기 대비 더 충실하고 흐릿하지 않은 사활 지도를 생성하지만, 여전히 인간이 이해하기 어려울 수 있다.
• I-GOS는 통합 기울기를 내림방향으로 사용하여 사활 지도의 마스크 최적화를 향상시켜 局부 최소값 문제를 줄이고 설명의 충실도를 향상시킨다.
• Grad-CAM은 국소화된, 클래스별 주의 지도를 제공하여, 출력이 직관적으로 보이지 않을 때 모델 예측을 진단하는 데 도움을 준다.
• TreeExplainer는 SHAP 값들을 활용하여 트리 기반 모델에 대해 정확하고 편향이 없으며 효율적인 기능 기여도를 제공함으로써, 결정 경로 분석 및 모델에 종속되지 않는 기법의 한계를 극복한다.
• 연구 분야에서 심층 신경망의 지배적인 위치에도 불구하고, 랜덤 포레스트 및 기울기 부스팅과 같은 트리 기반 모델은 그들의 강건성과 해석 가능성 덕분에 점점 더 실생활 응용에서 널리 사용되고 있으며, 이에 따라 이러한 모델에 대한 보다 나은 개별 설명 기법의 필요성이 증가하고 있다.