[논문 리뷰] Visual Analytics for Automated Model Discovery.

Dylan Cashman, Shah Rukh Humayoun외 10명|arXiv (Cornell University)|2018. 09. 27.

Data Visualization and Analytics참고 문헌 27인용 수 5

한 줄 요약

이 논문은 자동화된 기계학습(자동ML) 모델 탐색을 위한 시각적 분석 프레임워크를 제안하며, 자동ML 시스템에서 생성된 모델에 대한 맥락적 통찰을 제공함으로써 해석 가능성성을 향상시킨다. 이 프레임워크는 프로토타입인 Snowcat로 구현되었으며, 다양한 데이터와 작업에서 다수의 모델을 비교 분석할 수 있도록 기존의 시각적 분석 아키텍처를 확장하여 사용자가 모델 간 차이와 데이터 관계를 보다 효과적으로 이해할 수 있도록 한다.

ABSTRACT

A recent advancement in the machine learning community is the development of automated machine learning (autoML) systems, such as autoWeka or Google's Cloud AutoML, which automate the model selection and tuning process. However, while autoML tools give users access to arbitrarily complex models, they typically return those models with little context or explanation. Visual analytics can be helpful in giving a user of autoML insight into their data, and a more complete understanding of the models discovered by autoML, including differences between multiple models. In this work, we describe how visual analytics for automated model discovery differs from traditional visual analytics for machine learning. First, we propose an architecture based on an extension of existing visual analytics frameworks. Then we describe a prototype system Snowcat, developed according to the presented framework and architecture, that aids users in generating models for a diverse set of data and modeling tasks.

연구 동기 및 목표

• 복잡한 모델을 제공하지만 설명 없이 반환하는 자동ML 시스템에서의 해석 가능성 부족과 맥락적 통찰 부족 문제를 해결하기 위해.
• 기존 기계학습 분야의 시각적 분석과 다름없이 자동 모델 탐색에 특화된 시각적 분석 프레임워크를 개발하기 위해.
• 다양한 데이터와 모델링 작업을 통해 자동ML이 탐색한 다수의 모델 간 차이를 비교하고 이해할 수 있도록 하기 위해.
• Snowcat이라는 시스템을 프로토타입화하고 평가하여 시각적 분석을 자동ML 워크플로우와 통합함으로써 사용자 이해도 향상과 모델 선택 개선을 위해.

제안 방법

• 자동ML 모델 탐색을 위해 특화된 커스터마이징된 아키텍처를 갖춘 기존 시각적 분석 프레임워크를 확장하여, 모델 비교와 데이터 맥락을 강조한다.
• 모델 성능, 구조, 특성 중요도를 통합된 상호작용 가능한 환경에서 표시하는 다중 시각화 인터페이스를 도입한다.
• 다양한 데이터 분포와 모델 출력에 맞게 시각적 인코딩을 조정하여 이질적인 데이터 유형과 모델링 작업을 지원한다.
• 필터링, 클러스터링, 모델 특성 및 데이터 패턴 강조를 통해 모델 변형의 상호작용 탐색을 가능하게 한다.
• 자동ML 파이프라인으로부터 자동으로 생성된 모델을 입력으로 활용하며, 하이퍼파rameter와 성능 지표와 같은 메타데이터를 시각화에 통합한다.
• 평행좌표도, 산점도, 계층적 레이아웃과 같은 시각적 분석 기법을 사용하여 모델 및 데이터 관계를 표현한다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 분석을 자동ML 시스템에서 생성된 모델의 탐색과 해석을 지원하도록 적응시킬 수 있는가?
• RQ2 사용자가 다수의 자동ML 생성 모델 간의 차이를 비교하고 이해하는 데 가장 효과적인 시각적 설계 패턴은 무엇인가?
• RQ3 시각적 분석 시스템은 기존 자동ML 파이프라인과 어떻게 효과적으로 통합되어 실시간으로 실행 가능한 통찰을 제공할 수 있는가?
• RQ4 데이터 맥락은 복잡한 자동ML 모델을 해석하는 데 사용자에게 어떤 역할을 하는가?

주요 결과

• Snowcat 프로토타입은 자동ML 모델 출력과 시각적 분석을 성공적으로 통합하여 사용자가 성능, 구조, 특성 중요도 측면에서 모델을 탐색하고 비교할 수 있도록 했다.
• Snowcat을 사용할 경우, 사용자는 원시 자동ML 출력에 비해 모델 간 차이와 데이터 관계에 대해 더 나은 이해를 보였다.
• 시각적 프레임워크는 다양한 데이터 유형과 모델링 작업을 효과적으로 지원하여 다양한 기계학습 워크플로우에 적응 가능성을 보였다.
• Snowcat의 상호작용 가능한 시각화는 모델 간 상충 관계와 모델 메트릭스만으로는 드러나지 않는 데이터 패턴을 사용자가 식별하는 데 기여했다.