[논문 리뷰] Using Visual Analytics to Interpret Predictive Machine Learning Models

Josua Krause, Adam Perer외 1명|arXiv (Cornell University)|2016. 06. 17.

Multimodal Machine Learning Applications참고 문헌 11인용 수 47

한 줄 요약

이 논문은 내부 모델 구조에 접근하지 않고 입력-출력 행동에 집중하여 블랙박스 예측 기계학습 모델을 해석하기 위해 시각적 분석을 사용하는 것을 제안한다. 두 가지 시스템—국소 모델 검토를 위한 Prospector와 하위군 내 특징 패턴을 식별하기 위한 Class Signatures—를 도입하여, 높은 예측 정확도와 해석 가능성 간의 상충 관계 없이 둘 다 달성할 수 있음을 보여준다.

ABSTRACT

It is commonly believed that increasing the interpretability of a machine learning model may decrease its predictive power. However, inspecting input-output relationships of those models using visual analytics, while treating them as black-box, can help to understand the reasoning behind outcomes without sacrificing predictive quality. We identify a space of possible solutions and provide two examples of where such techniques have been successfully used in practice.

연구 동기 및 목표

• 기계학습에서의 해석 가능성은 예측 성능을 떨어뜨린다는 일반적인 믿음을 해소하기 위해.
• 내부 모델 구조에 접근하지 않고도 데이터 과학자와 도메인 전문가가 모델 행동을 이해할 수 있도록 지원하기 위해.
• 모델 디버깅, 신뢰 구축, 진단 분석을 지원하는 상호작용 가능한 시각적 분석 시스템을 개발하기 위해.
• 투명성과 책임성이 핵심적인 고위험 분야인 의료 분야에서 복잡한 모델을 해석하기 위한 실용적 도구를 제공하기 위해.
• 시각적 분석이 인간이 참여하는 해석 과정을 지원하면서도 모델 정확도를 유지할 수 있는 방식으로 작동하는지 탐색하기 위해.

제안 방법

• 모델을 투명한 시스템으로 간주하고, 블랙박스 모델의 입력-출력 관계를 분석하기 위해 시각적 분석을 사용한다.
• Prospector를 구현하여 사용자가 특징 값을 상호작용적으로 수정하고, 부분적 의존도와 새로운 국소 특징 중요도 지표를 활용해 실시간으로 예측 변화를 관찰할 수 있도록 하는 UI를 제공한다.
• 이4단계 파이프라인—모델, 대조, 군집, 순위—을 적용하여 이진 특징과 이진 목표 변수 간의 예측 연관성을 식별하고 시각화한다.
• 클러스터를 Class Signatures를 통해 시각화하며, 막대 길이는 특징 존재/미존재 비율을, 색상 강도는 분류 중요도(Gini-중요도)를 표현한다.
• 사용자가 영향도, 관련성 또는 제안된 변경 사항 기준으로 특징을 우선순위 정렬할 수 있도록 UI에 상호작용 가능한 정렬 및 필터링을 통합한다.
• 모델 진단을 위한 고신호 예측 필터링을 안내하기 위해 수신기 작동 특성(ROC) 곡선을 활용한다.

실험 결과

연구 질문

• RQ1 시각적 분석 기법을 통해 예측 성능을 희생시키지 않고도 블랙박스 기계학습 모델의 해석 가능성을 달성할 수 있는가?
• RQ2 상호작용 가능한 시각화는 복잡하고 고위험 분야에서 모델 행동 이해를 인간이 어떻게 지원할 수 있는가?
• RQ3 예측을 이끄는 핵심 특징과 하위군을 식별하는 데 가장 효과적인 시각적 표현은 무엇인가?
• RQ4 입력-출력 행동 분석이 모델 구조 의존성을 얼마나 대체할 수 있는가?
• RQ5 시각적 분석 워크플로우는 모델 진단, 신뢰 구축, 실질적인 통찰 생성을 어떻게 지원할 수 있는가?

주요 결과

• 시각적 분석을 통해 입력-출력 행동을 분석함으로써 블랙박스 모델의 해석 가능성을 달성하였으며, 해석 가능성과 높은 예측 정확도가 상호 배제되지 않음을 입증하였다.
• Prospector 시스템은 사용자가 특징 값을 상호작용적으로 수정하고 실시간으로 예측 변화를 관찰할 수 있도록 하며, 국소 특징 중요도 지표가 영향력 있는 조정을 안내한다.
• Class Signatures는 일관된 특징 패턴을 가진 데이터의 고유한 하위군을 효과적으로 식별하고 시각화하며, 막대 길이와 색상 강도를 통해 특징 존재 여부와 분류 중요도를 표현한다.
• 대조 임계값과 군집화를 활용함으로써 고신뢰도 예측에 집중함으로써 신호 탐지 능력을 향상시켜 더 정밀한 진단 분석을 가능하게 하였다.
• 특징 기여도와 하위군 특화 패턴을 강조함으로써 시각적 분석이 모델 비교 및 실패 진단을 지원한다.
• 사용자가 주도하는 탐색을 통해 상호작용 가능한 시각화는 복잡한 도메인, 특히 의료 분야에서 모델 결과의 이해 가능성, 타당성 및 실행 가능성 향상을 높인다.