[논문 리뷰] MAGIX: Model Agnostic Globally Interpretable Explanations

Nikaash Puri, Piyush Gupta외 3명|arXiv (Cornell University)|2017. 06. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 24인용 수 38

한 줄 요약

MAGIX는 블랙박스 분류 모델을 설명하기 위해 진화된 if-then 규칙를 사용하는 모델에 종속되지 않고 전역적으로 해석 가능한 방법을 도입한다. 개별 예측에 적용된 중요 조건을 추출하고 유전 알고리즘을 활용하여 정확도가 높고 커버리지가 넓은 규칙 집합을 생성함으로써 모델의 행동을 정확히 재현하며, 기준 데이터셋에서 최대 96.66%의 재현 정확도를 달성한다.

ABSTRACT

Explaining the behavior of a black box machine learning model at the instance level is useful for building trust. However, it is also important to understand how the model behaves globally. Such an understanding provides insight into both the data on which the model was trained and the patterns that it learned. We present here an approach that learns if-then rules to globally explain the behavior of black box machine learning models that have been used to solve classification problems. The approach works by first extracting conditions that were important at the instance level and then evolving rules through a genetic algorithm with an appropriate fitness function. Collectively, these rules represent the patterns followed by the model for decisioning and are useful for understanding its behavior. We demonstrate the validity and usefulness of the approach by interpreting black box models created using publicly available data sets as well as a private digital marketing data set.

연구 동기 및 목표

• 블랙박스 분류 모델에 대해 모델에 종속되지 않고 인간이 이해할 수 있는 전역적인 설명 방법을 개발하는 것.
• 특히 디지털 마케팅 분야의 전문가들이 직관적인 if-then 규칙을 통해 복잡한 모델 행동을 이해할 수 있도록 돕는 것.
• 모델 내부의 특정 정보에 의존하지 않고도 전역적인 결정 패턴을 포괄하는 확장성 있고 일반화 가능한 접근법을 개발하는 것.
• 의료, 금융 및 기업 전용 디지털 마케팅 데이터를 포함한 다양한 데이터셋에서 방법의 유효성을 검증하는 것.
• 다양한 방법 간의 규칙 기반 설명 품질을 공정하게 비교하기 위해 새로운 평가 지표인 Imitation@K를 도입하는 것.

제안 방법

• 개별 예측에 적용된 중요 조건을 시냅스 기반 방법을 통해 추출한다.
• 커버리지와 정밀도를 동시에 최대화하는 if-then 규칙 집합을 진화시키기 위해 유전 알고리즘을 사용한다.
• 규칙 커버리지와 정밀도를 균형 있게 유지하는 피트니스 함수를 정의하여 규칙 진화를 이끈다.
• 진화된 규칙에서 프록시 모델을 구성한다: 각 인스턴스는 가장 정밀도가 높은 규칙에 의해 분류되며, 동점일 경우 무작위로 결정한다.
• 규칙 기반 프록시 모델의 예측을 원본 블랙박스 모델과 비교하여 규칙 집합의 품질을 평가한다.
• 규칙 집합 크기가 다양할 때 원본 모델의 행동을 얼마나 잘 재현하는지 평가하기 위해 Imitation@K 지표를 도입한다.

실험 결과

연구 질문

• RQ1 모델에 종속되지 않고 전역적으로 해석 가능한 방법이 복잡한 블랙박스 분류기의 결정 패턴을 정확히 반영하는 규칙 집합을 생성할 수 있는가?
• RQ2 진화된 규칙 집합은 다양한 데이터 분포를 얼마나 잘 커버하면서도 높은 정밀도를 유지할 수 있는가?
• RQ3 제안된 Imitation@K 지표는 다양한 규칙 기반 설명 방법의 정밀도를 효과적으로 평가하고 비교하는 데 기여하는가?
• RQ4 디지털 마케팅과 같이 설명 가능성의 중요성이 높은 실세계 응용 분야로의 확장이 가능한가?
• RQ5 기존의 전역 설명 기법과 비교했을 때, 진화된 규칙는 커버리지, 정밀도 및 정밀도 측면에서 어떤가?

주요 결과

• Iris 데이터셋에서 MAGIX는 10개의 규칙로 96.66%의 재현 정확도를 달성하여 원본 모델의 행동에 대해 강력한 정밀도를 보였다.
• 유방암 데이터셋에서는 20개의 규칙로 95.71%의 재현 정확도를 기록하여 의료 데이터에서 높은 성능을 입증했다.
• 은행권 보안 인증 데이터셋은 K=20일 때 96.00%의 재현 정확도를 보이며 다양한 데이터 유형에 대한 강건성을 확인했다.
• 자동차 평가 데이터셋은 K=20일 때 89.01%의 재현 정확도를 기록하여 복잡한 다중 클래스 문제에서도 효과적인 규칙 생성 능력을 보였다.
• Imitation@K 지표는 낮은 커버리지 또는 낮은 정밀도를 가진 규칙 집합에 대해 효과적으로 페널티를 적용하여 균형 잡힌 성능 평가를 보장했다.
• 실세계 디지털 마케팅 데이터를 활용한 검증을 통해 복잡한 개인화 모델을 설명하는 데 있어 방법의 실용적 유용성이 확인되었다.