[논문 리뷰] Human Understandable Explanation Extraction for Black-box Classification Models Based on Matrix Factorization

Jaedeok Kim, Jingoo Seo|arXiv (Cornell University)|2017. 09. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 4

한 줄 요약

이 논문은 기여 행렬을 구성하고 비음수 행렬 분해(NMF)를 적용하여 블랙박스 분류 모델에서 인간이 이해할 수 있고 규칙 유사한 설명을 추출하는 행렬 분해 기반 방법을 제안한다. 이 방법은 개방형 및 산업용 데이터셋에서 전문가 지식과 일치하는 직관적이고 해석 가능한 규칙을 성공적으로 생성하여 모델 점검 효율을 크게 향상시킨다.

ABSTRACT

In recent years, a number of artificial intelligent services have been developed such as defect detection system or diagnosis system for customer services. Unfortunately, the core in these services is a black-box in which human cannot understand the underlying decision making logic, even though the inspection of the logic is crucial before launching a commercial service. Our goal in this paper is to propose an analytic method of a model explanation that is applicable to general classification models. To this end, we introduce the concept of a contribution matrix and an explanation embedding in a constraint space by using a matrix factorization. We extract a rule-like model explanation from the contribution matrix with the help of the nonnegative matrix factorization. To validate our method, the experiment results provide with open datasets as well as an industry dataset of a LTE network diagnosis and the results show our method extracts reasonable explanations.

연구 동기 및 목표

• 실세계 AI 서비스에서 사용되는 블랙박스 분류 시스템의 모델 해석 가능성에 대한 핵심 과제를 해결한다.
• 서비스 제공자가 모델 동작을 신속하게 점검하고 검증할 수 있도록 하여 개발 비용을 줄이고 신뢰 장벽을 낮춘다.
• 특히 수치형 특징을 가진 다양한 분류 모델에 적용 가능한 일반화 가능한 방법을 개발한다.
• 모델의 기본 결정 제약 조건을 반영하는 규칙 유사 설명을 추출한다.
• 고성능 블랙박스 모델과 인간이 이해할 수 있는 모델 점검 간 격차를 메운다.

제안 방법

• 모델 예측에서 각 특징의 영향력을 모든 인스턴스에 걸쳐 수량화하는 기여 행렬을 구성한다.
• 기여 행렬에 비음수 행렬 분해(NMF)를 적용하여 저차원의 해석 가능한 공간에서 잠재된 결정 제약 조건을 추출한다.
• NMF 기저 벡터를 원자적 결정 규칙으로 사용하고, 이를 조합하여 복합적인 규칙 유사 모델 설명을 구성한다.
• 모델 설명을 집합 근사 문제로 정의하며, 목표는 원래 모델의 예측 분할을 밀도 있게 재현하는 것이다.
• 모델 표현력과 해석 가능성의 균형을 위해 하이퍼파rameter k(비율 성분 수)를 최적화한다.
• 설명 품질에 대한 F1 점수와 규칙 명료성의 정성적 분석을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 일반적인 목적의 방법이 다양한 블랙박스 분류 모델에서 인간이 이해할 수 있고 규칙 기반의 설명을 추출할 수 있는가?
• RQ2 행렬 분해가 모델 예측을 지배하는 잠재된 결정 제약 조건을 얼마나 잘 드러내는가?
• RQ3 추출된 설명이 실세계 산업용 데이터셋에서 전문가가 정의한 규칙과 어느 정도 일치하는가?
• RQ4 NMF 하이퍼파rameter k의 선택이 설명의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 이 방법이 다양한 데이터셋과 모델 유형 간에 일관되고 의미 있는 설명을 생성할 수 있는가?

주요 결과

• 제안된 방법은 설명 품질에 대해 높은 F1 점수를 기록하며, 대부분의 데이터셋에서 비교적 우수한 성능을 보여 원래 모델의 결정 분할을 잘 근사하고 있음을 시사한다.
• 피부과 데이터셋에서는 단순한 규칙 형식으로 암묵적인 특징 상호작용을 표현하는 데 한계가 있어 모델 간 성능 변동이 더 크다.
• 추출된 설명은 직관적이며 직접 해석 가능하다. 예를 들어 아이ris 데이터셋에서 setosa 클래스에 대해 '꽃잎 너비 ≤ 3'이라는 설명이 제시되며 명확한 인간 가독성을 보여준다.
• LTE 네트워크 진단 데이터셋에서는 추출된 규칙가 전문가가 작성한 지침과 밀도 있게 일치하여 실용적 타당성을 확인한다.
• NMF 하이퍼파rameter k를 증가시킬수록 F1 성능이 향상되며, 이는 복잡한 결정 제약 조건을 포괄하기 위해 충분한 기저 성분이 필요함을 시사한다.
• 해설 임베딩이 분류 카테고리별로 잘 군집화되어 있음을 확인하여 공통된 결정 논리가 효과적으로 포착되었음을 확인한다.