[논문 리뷰] On the Art and Science of Machine Learning Explanations

Patrick Hall|arXiv (Cornell University)|2018. 10. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 32

한 줄 요약

이 논문은 실생활 응용에서 기계학습 모델을 해석하기 위해 LIME, SHAP, 부분 의존도 플롯, 서rogate 决정 트리와 같은 설명 가능 AI 기법에 대한 종합적이고 실용적인 가이드를 제시한다. 금융 신용 리스크 사례에서의 응용을 통해 국소적이고 글로벌한 설명 기법이 모델 신뢰도, 규제 준수 및 공정성 향상에 기여하는 방식을 보여주며, 재현 가능한 소프트웨어 예제를 통해 책임감 있는 구현를 주장한다.

ABSTRACT

This text discusses several popular explanatory methods that go beyond the error measurements and plots traditionally used to assess machine learning models. Some of the explanatory methods are accepted tools of the trade while others are rigorously derived and backed by long-standing theory. The methods, decision tree surrogate models, individual conditional expectation (ICE) plots, local interpretable model-agnostic explanations (LIME), partial dependence plots, and Shapley explanations, vary in terms of scope, fidelity, and suitable application domain. Along with descriptions of these methods, this text presents real-world usage recommendations supported by a use case and public, in-depth software examples for reproducibility.

연구 동기 및 목표

• 기존 오차 메트릭스를 넘어서 실무자들이 즉각적으로 활용하고 재현 가능한 방식으로 복잡한 기계학습 모델을 설명할 수 있도록 기술을 제공한다.
• 규제 준수(GDPR, Fair Credit Reporting Act 등)와 공정성이 핵심적인 고위험 분야(예: 금융)에서 모델의 해석 가능성에 대한 증가하는 수요를 해결한다.
• LIME와 유사한 '공정성 조작(fairwashing)'과 같은 잘못된 방식이나 오용 가능성이 있는 접근과 대비되는 이론적으로 탄탄한 방법을 식별함으로써 설명 가능성 도구의 책임감 있는 사용을 촉진한다.
• 설명 기법을 해석 가능한 모델, 디버깅 및 공정성 평가와 통합하여 임무 핵심 시스템의 신뢰도와 투명도를 향상시킨다.
• 모든 설명 기법과 응용 사례에 대해 공개된 소프트웨어 예제와 코드 링크를 제공함으로써 재현 가능성을 지원한다.

제안 방법

• 모델 설명, 해석 가능한 모델, 디버깅 및 공정성 분석을 통합한 인간 중심 워크플로우를 사용하여 비차별적 영향을 줄인다.
• 복잡한 모델을 국소적으로 근사하기 위해 서rogate 결정 트리(h_tree)를 활용하여 직관적인 기능 기여도 및 상호작용 해석을 가능하게 한다.
• 국소적이고 모델에 종속되지 않는 설명(LIME)을 적용하여 개별 예측의 인스턴스별 기능 기여도를 생성한다.
• Shapley 값(tree SHAP)을 활용하여 이론적 충족 조건(공정성 및 가환성의 공리)을 만족하는 정확하고 일관된 국소적 기능 기여도를 계산한다.
• 부분 의존도 플롯(PDPs)과 개별 조건 기대 플롯(ICE)을 생성하여 모델 출력에 대한 글로벌 및 국소적 기능 영향을 시각화한다.
• 설명 기법의 유효성을 UCI 신용카드 부도 데이터셋을 통해 검증하였으며, 예측된 부도 리스크의 백분위수 기준 30% 검증 세트를 활용해 설명의 정확성을 평가하였다.

실험 결과

연구 질문

• RQ1 국소적 및 글로벌 설명 기법을 효과적으로 융합하여 고위험 응용 분야에서 모델의 투명성과 신뢰도를 향상시킬 수 있는 방법은 무엇인가?
• RQ2 LIME, SHAP, PDPs, ICE 또는 서rogate 모델 중에서 금융 기계학습에서 규제 준수 및 인간 이해를 지원하는 데 가장 효과적인 설명 기법은 무엇인가?
• RQ3 어떤 설명 기법이 신용 리스크 모델에서 상환 상태와 청구 금액 간의 숨겨진 상호작용이나 기능 종속성을 드러내는 데 얼마나 효과적인가?
• RQ4 어떻게 설명을 활용하여 모델 예측에서 인구 집단 간의 비차별적 영향을 탐지하고 수정할 수 있는가?
• RQ5 설명 기법이 잔차 및 민감도 분석을 포함한 모델 디버깅에 어떻게 기여하여 모델의 강건성과 신뢰성을 확보하는가?

주요 결과

• 서rogate 결정 트리(h_tree) 모델은 PAY_0 < 0.5 이면서 PAY_AMT2 ≥ 4747.5일 경우 낮은 부도 확률, PAY_0 ≥ 1.5, PAY_5 ≥ 1, BILL_AMT4 < 17399.5일 경우 높은 부도 확률을 보여주는 핵심 상호작용을 효과적으로 포착하였다.
• 예측된 부도 리스크의 10, 50, 90 백분위수에서 tree SHAP 설명은 높은 리스크로 갈수록 증가하는 기능 기여도를 보이며 일관성 있는 결과를 보여, 방법의 정밀도를 검증하였다.
• 최고 리스크 고객(90 백분위수)의 높은 부도 예측에 가장 영향을 준 세 가지 요인은: 최근 2개월 지연된 납부, 4개월 전 납부 2개월 지연, 최근 3개월 전 납부 금액 0 NT$였다.
• 국소 설명(SHAP), 글로벌 추세(PDPs), 서rogate 모델의 조합은 모델 신뢰도 및 공정성에 대한 종합적인 진단 워크플로우를 가능하게 하였다.
• 설명 기법은 GDPR 제22조 및 Fair Credit Reporting Act와 같은 법적 요구사항을 충족시키기 위해 감사 가능한, 인간이 읽을 수 있는 결정 근거를 제공함으로써 규제 준수를 지원하는 것으로 입증되었다.
• 연구는 설명 기법을 모델 디버깅 및 공정성 분석와 융합할 경우 임무 핵심 기계학습 시스템의 신뢰성과 감사 가능성은 크게 향상됨을 입증하였다.