[논문 리뷰] RuleMatrix: Visualizing and Understanding Classifiers with Rules

Yao Ming, Huamin Qu외 1명|arXiv (Cornell University)|2018. 07. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 36인용 수 5

한 줄 요약

RuleMatrix는 훈련된 블랙박스 분류기에서 규칙 기반 설명을 추출하고 이를 매트릭스 인터페이스로 시각화하여 비전문가 사용자에게 모델의 해석 가능성을 향상시키는 상호작용 가능한 시각화 기법이다. 이 기법은 도메인 전문가가 직관적인 필터링, 강조 표시 및 규칙 탐색을 통해 모델 결정을 탐색하고 검증하며 이해할 수 있도록 지원하여 기계학습 전문 지식 없이도 모델의 투명성을 크게 향상시킨다.

ABSTRACT

With the growing adoption of machine learning techniques, there is a surge of research interest towards making machine learning systems more transparent and interpretable. Various visualizations have been developed to help model developers understand, diagnose, and refine machine learning models. However, a large number of potential but neglected users are the domain experts with little knowledge of machine learning but are expected to work with machine learning systems. In this paper, we present an interactive visualization technique to help users with little expertise in machine learning to understand, explore and validate predictive models. By viewing the model as a black box, we extract a standardized rule-based knowledge representation from its input-output behavior. We design RuleMatrix, a matrix-based visualization of rules to help users navigate and verify the rules and the black-box model. We evaluate the effectiveness of RuleMatrix via two use cases and a usability study.

연구 동기 및 목표

• 복잡한 기계학습 모델을 기계학습 지식이 제한된 도메인 전문가에게 해석 가능하게 만들기 위한 과제를 해결하기 위해.
• 규칙 기반 설명을 생성하여 고성능의 블랙박스 모델과 사용자 이해 간 격차를 메우기 위해.
• 모델 행동과 규칙 유효성의 체계적 탐색을 지원하는 상호작용 가능한 시각화를 설계하기 위해.
• 규칙 기반 시각화가 사용자의 모델 이해도 및 신뢰도 향상에 얼마나 효과적인지 평가하기 위해.
• 의료 및 신용 승인과 같은 실제 응용 사례에서 RuleMatrix의 유용성을 입증하기 위해.

제안 방법

• 먼저 모델 유도 알고리즘(SBRL)을 적용하여 입력 블랙박스 분류기의 입력-출력 행동을 근사하는 규칙 목록을 추출한다.
• 각 규칙는 특성 조건의 논리곱(AND)으로 표현되며, 예측 신뢰도에 따라 클래스 레이블이 할당된다.
• 규칙는 행이 규칙, 열이 특성인 매트릭스 형식으로 시각화되며, 클래스 레이블은 색상 인코딩으로 표현된다.
• 인터페이스는 규칙 조건에 따라 데이터를 필터링하거나, 규칙의 세부 정보를 확장하거나, 관련 데이터 인스턴스를 강조 표시하는 상호작용 기능을 지원한다.
• 제어 패널을 통해 규칙 복잡도, 필터링 기준, 특성 가시성과 같은 시각화 매개변수를 조정할 수 있다.
• 데이터 흐름 및 지지도 시각화 기능을 통해 사용자가 예측이 어떻게 이루어지는지, 그리고 각 규칙를 뒷받침하는 학습 인스턴스의 수를 추적할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 규칙 기반 인터페이스는 비전문가 사용자에게 블랙박스 분류기의 해석 가능성을 향상시킬 수 있는가?
• RQ2 RuleMatrix 시각화는 사용자가 모델 결정을 탐색하고 검증하는 데 얼마나 효과적인가?
• RQ3 시각적 규칙 표현 방식은 텍스트 기반 규칙 목록에 비해 사용성과 이해도에 어떤 이점을 제공하는가?
• RQ4 사용자들은 규칙 매트릭스의 명확성과 직관성에 대해 어떻게 평가하는가? 특히 모델 행동 진단에 있어.
• RQ5 필터링 및 강조 표시와 같은 상호작용 기능이 복잡한 규칙 집합에 대한 사용자 이해도를 향상시키는 데 기여하는가?

주요 결과

• 사용성 연구에 참여한 사용자들은 확장, 강조 표시, 필터링과 같은 상호작용 기능이 복잡한 규칙 집합을 탐색하는 데 매우 유용하고 직관적이라고 평가했다.
• 참가자들은 시각적 매트릭스가 규칙 내 가설을 쉽게 찾고, 정확성과 데이터 지원 여부를 포함한 모델 행동을 이해하는 데 도움이 되었다고 보고했다.
• 텍스트 기반 규칙 표현 방식은 간격 조건을 오해하는 오류를 유발했으며(예: 'x < 29'를 '29 < x'로 오해), 이는 시각적 형식이 텍스트 형식보다 열등하다는 것을 확인한 바 있다.
• 규칙 유도 알고리즘(SBRL)은 수용 가능한 정밀도를 갖춘 규칙 목록을 생성했지만, 20만 개 샘플 데이터셋에서 약 30분 이내로 성능 제한이 있었다.
• 시각적 인터페이스는 규칙 목록에 100개 이상의 규칙과 30개의 특성이 포함된 경우에도 모델 결정 이해를 효과적으로 지원했지만, 가독성은 최대 60개 규칙과 20개 특성까지 검증된 바 있다.
• 한 명의 참가자는 규칙가 단지 논리곱(AND) 관계만을 사용한다는 점을 이해하지 못해, 향후 설계에서 더 명확한 시각적 신호가 필요하다는 점을 시사했다.