[논문 리뷰] Melody: Generating and Visualizing Machine Learning Model Summary to Understand Data and Classifiers Together

Gromit Yeuk-Yin Chan, Enrico Bertini외 3명|arXiv (Cornell University)|2020. 07. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 64인용 수 12

한 줄 요약

MELODY는 정보 이론을 사용하여 국소적 설명을 군집화함으로써 전반적인 모델 설명 요약을 생성하는 혁신적인 상호작용형 시각적 분석 시스템이다. 이는 추가 모델이나 사용자 수준의 머신러닝 전문 지식 없이도 테이블, 이미지, 텍스트 데이터 전반에서 기계학습 모델의 전반적 이해를 가능하게 한다. 기존 기준 대비 더 빠르고 더 압축된 요약을 달성하면서도 종단 간 모델 디버깅 및 해석 워크플로우를 지원한다.

ABSTRACT

With the increasing sophistication of machine learning models, there are growing trends of developing model explanation techniques that focus on only one instance (local explanation) to ensure faithfulness to the original model. While these techniques provide accurate model interpretability on various data primitive (e.g., tabular, image, or text), a holistic Explainable Artificial Intelligence (XAI) experience also requires a global explanation of the model and dataset to enable sensemaking in different granularity. Thus, there is a vast potential in synergizing the model explanation and visual analytics approaches. In this paper, we present MELODY, an interactive algorithm to construct an optimal global overview of the model and data behavior by summarizing the local explanations using information theory. The result (i.e., an explanation summary) does not require additional learning models, restrictions of data primitives, or the knowledge of machine learning from the users. We also design MELODY UI, an interactive visual analytics system to demonstrate how the explanation summary connects the dots in various XAI tasks from a global overview to local inspections. We present three usage scenarios regarding tabular, image, and text classifications to illustrate how to generalize model interpretability of different data. Our experiments show that our approaches: (1) provides a better explanation summary compared to a straightforward information-theoretic summarization and (2) achieves a significant speedup in the end-to-end data modeling pipeline.

연구 동기 및 목표

• 다양한 데이터 유형에서의 통합적 해석 가능한 AI(XAI)의 격차를 해소하기 위해 국소적 모델 설명을 융합하여 사용자에게 친화적인 전반적 개요를 제공함으로써, 다양한 데이터 타입에 걸쳐 의미 구성(사고 정리)을 지원하고자 한다.
• 모든 특성 중요도 기반 설명 방법(테이블, 이미지, 텍스트 등 데이터 기본형에 관계없이)에 적용 가능한 확장성 있고 데이터에 종속되지 않는 요약 기법을 개발하고자 한다.
• 전반적 요약과 국소적 인스턴스 수준 검토를 연결하는 상호작용형 시각적 분석 시스템(MELODY UI)을 설계하여 모델 이해도 및 디버깅 능력을 향상시키고자 한다.
• 재무, 컴퓨터 비전, 자연어 처리 분야의 다양한 실제 사례를 통해 이 접근법의 유용성을 입증하고자 한다.

제안 방법

• 이 방법은 국소적 설명 할당에서 유사성을 기반으로 인스턴스와 특성 그룹을 정보 이론 기반 군집화로 묶어, 요약 과정에서 정보 손실을 최소화한다.
• 행은 유사한 인스턴스 그룹을, 열은 유사한 특성 그룹을 나타내는 공통 군집화 시각화 행렬을 구성하며, 색상 강도는 할당 강도를 나타낸다.
• 알고리즘은 스케치 기법을 활용하여 대규모 데이터셋에 효율적으로 확장되며, 재학습이나 추가 모델 추론 없이 실시간 요약을 가능하게 한다.
• MELODY UI는 요약과 상호작용 필터링, 브러시, 드릴다운 기능을 통합하여 전반적 추세에서 국소적 반성적 사례에 이르기까지 다중 해상도 분석을 지원한다.
• 시스템은 동적 쿼리 및 서브셋 탐색을 지원하여 사용자가 특정 패턴(예: 잘못된 예측, 높은 영향도 특성 등)을 고립하고 검토할 수 있도록 한다.
• 이 접근법은 모델에 종속되지 않으며, LIME, Grad-CAM, SHAP 등의 기존 설명 도구의 출력을 입력으로 받아들이므로, 기존 도구와 호환된다.

실험 결과

연구 질문

• RQ1 정보 이론을 사용하여 국소적 설명에서 전반적 요약을 구성할 수 있는가? 이 과정에서 모델 행동을 유지하면서 복잡성을 감소시킬 수 있는가?
• RQ2 제안된 요약 기법은 정보 이론 기반의 단순 기준 대비 압축성과 해석 가능성 측면에서 어떻게 비교되는가?
• RQ3 MELODY 시스템은 테이블, 이미지, 텍스트와 같은 다양한 데이터 유형에서 효과적인 종단 간 모델 분석을 지원할 수 있는가?
• RQ4 상호작용형 시각적 분석 인터페이스는 사용자가 모델 결정 및 데이터 특성에 대한 이해를 어느 정도 향상시키는가?

주요 결과

• MELODY는 정보 이론 기반의 단순 기준 대비 더 압축되고 정보량이 많은 요약을 생성하여 재중복을 줄이고 핵심 결정 패턴을 유지한다.
• 시스템은 빠른 전반적 점검과 타겟팅된 국소 분석을 가능하게 하여 종단 간 데이터 모델링 파이프라인에서 상당한 속도 향상을 달성한다.
• 테이블 사용 사례에서, 모델의 의사결정 논리는 주로 연체 이력과 외부 리스크 평가에 의존하며, 예측의 70% 이상이 이 두 요소에 의해 설명되었다.
• 이미지 분류 작업에서, MELODY는 노랑목새를 노랑빛 패치가 파란날새와 유사하게 학습한 특성 때문에 잘못 분류한 것으로 밝혀냈다.
• 텍스트 분류 사용 사례에서, 'auto', 'bmw', 'ford'와 같은 단어들이 대출 관련 불만의 강력한 예측 변수로 밝혀졌으며, 이러한 단어가 포함된 인스턴스에서 정확도는 93%였다.
• MELODY UI의 상호작용 필터링 및 브러시 기능을 통해 분석가들은 차량 구매와 같은 높은 영향력 있는 주제를 고립하고 검증할 수 있었으며, 이는 고객 불만의 중심 요소로 확인되었다.