[논문 리뷰] How Much Can We See? A Note on Quantifying Explainability of Machine Learning Models

Gero Szepannek|arXiv (Cornell University)|2019. 10. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 5

한 줄 요약

이 논문은 흑상자 기계학습 모델의 예측을 설명하는 데 부분적 의존도 그림(PDPs)이 얼마나 잘 작용하는지 정량적으로 평가할 수 있는 프레임워크를 제안한다. 모델 예측값 $\hat{f}(x)$와 PDP 값 $\widehat{PD}_s(x)$ 간의 평균 제곱차를 측정함으로써, PDP가 모델의 행동을 어느 정도 반영하는지를 수치화하는 설명 가능성 지표 $\Upsilon$를 정의한다. 이는 연구자들이 어떤 시각화가 해석 가능성에 충분한지 판단하는 데 도움을 주며, 고차 상호작용이나 다른 방법이 필요할 수 있음을 확인할 수 있도록 한다.

ABSTRACT

One of the most popular approaches to understanding feature effects of modern black box machine learning models are partial dependence plots (PDP). These plots are easy to understand but only able to visualize low order dependencies. The paper is about the question 'How much can we see?': A framework is developed to quantify the explainability of arbitrary machine learning models, i.e. up to what degree the visualization as given by a PDP is able to explain the predictions of the model. The result allows for a judgement whether an attempt to explain a black box model is sufficient or not.

연구 동기 및 목표

• 흑상자 기계학습 모델을 설명하는 데 있어 부분적 의존도 그림(PDPs)의 적정성을 평가할 수 있는 표준화된 방법이 부족한 문제를 해결하기 위해.
• PDP가 모델의 진짜 예측 행동을 어느 정도 반영하는지를 수치적으로 측정할 수 있는 방법을 개발하기 위해.
• 연구자들이 PDP 기반 설명이 충분한지, 아니면 고차 상호작용이나 다른 방법이 필요한지 판단할 수 있도록 하기 위해.
• 설명 가능성 최대화를 위해 PDP에 포함시킬 변수를 데이터 기반 기준으로 선정하는 데 기여하기 위해.

제안 방법

• 모델 예측값 $\hat{f}(x)$와 부분적 의존도 함수 값 $\widehat{PD}_s(x)$ 간의 평균 제곱차를 설명 가능성 정량화의 기초로 정의한다.
• 설명 가능성 지표 $\Upsilon = 1 - \frac{\text{ASE}(PD_s)}{\text{ASE}(\text{baseline})}$ 를 도입하며, 여기서 ASE는 예측값과 PDP 값 간의 기대 제곱오차를 측정한다.
• 실제 및 시뮬레이션 데이터에서 ASE를 표본 평균을 통해 경험적으로 추정하여 $\Upsilon$를 계산한다.
• 변수 선택 과정에서 $\Upsilon$를 기준으로 사용하여 PDP에 가장 유용한 변수 조합을 식별한다.
• 모델 예측값 $\hat{f}(x)$와 $\widehat{PD}_s(x)$ 간의 일치 정도를 $(\hat{f}(x), PD(x))$ 평면 상의 산점도를 통해 시각화하여 모델과 PDP의 일치성을 평가한다.
• 2차원 PDP와 산점도 매트릭스를 활용해 다변량 의존성을 탐색하지만, 고차 상호작용을 시각화하는 데에는 한계가 있음을 언급한다.

실험 결과

연구 질문

• RQ1 부분적 의존도 그림(PDP)이 흑상자 기계학습 모델의 예측 행동을 얼마나 정확하게 표현할 수 있는가?
• RQ2 PDP의 설명 가능성은 기반 모델의 예측과 어떻게 정량적으로 평가될 수 있는가?
• RQ3 PDP에 포함시킬 때, 어떤 입력 변수 조합이 $\Upsilon$로 측정된 모델의 설명 가능성 최대화에 기여하는가?
• RQ4 모델 예측값과 PDP 값 간의 일치 정도를 시각적으로 평가하고 해석함으로써 설명의 한계를 탐지할 수 있는가?
• RQ5 신뢰할 수 있는 모델 설명을 위해 어느 정도의 $\Upsilon$ 수준이 충분한가, 그리고 언제 PDP가 부적절한가?

주요 결과

• 설명 가능성 지표 $\Upsilon$는 PDP가 모델의 진짜 예측을 어느 정도 반영하는지를 효과적으로 수량화하며, $\Upsilon = 1$은 완벽한 일치를 의미한다.
• 보스턴 주택 데이터셋에서, PDP에 단 6개의 변수만 포함시켜도 $\Upsilon > 0.93$를 달성하여, 소수의 특성 조합으로도 모델 행동의 대부분을 설명할 수 있음을 시사한다.
• 보스턴 주택 데이터에서 변수 선택 과정을 통해 lstat와 rm이 가장 영향력 있는 예측 변수로 밝혀졌으며, 이들이 선택 과정 초반에 포함될 경우 각각 $\Upsilon$ 값이 0.986과 0.993에 도달했다.
• 14개의 변수를 포함한 경우 $\Upsilon$는 1.000에 도달하여, PDP에 모든 변수를 포함하면 모델 예측과 완벽한 일치를 이룬다는 것을 나타낸다.
• $(\hat{f}(x), PD(x))$ 산점도의 시각적 점검을 통해, 비선형성 또는 상호작용 효과가 높은 영역에서 예측값과 PDP 간의 체계적인 편차를 관찰할 수 있었다.
• 본 연구는 PDP가 동시에 최대 두 개의 변수만 시각화할 수 있음을 강조하며, 산점도 매트릭스는 도움이 되지만 고차 상호작용을 완전히 반영하지 못하므로, 이는 여전히 열린 연구 과제로 남아 있다.