[논문 리뷰] VizML: A Machine Learning Approach to Visualization Recommendation

Kevin Hu, Michiel A. Bakker외 3명|arXiv (Cornell University)|2018. 08. 14.

Data Visualization and Analytics참고 문헌 56인용 수 11

한 줄 요약

VizML은 Plotly에서 수집한 100만 개의 데이터세트-비주얼라이제이션 쌍으로부터 시각화 유형과 축 인코딩과 같은 디자인 선택을 학습함으로써 효과적인 시각화를 추천하는 기계학습 기반 접근법을 제안한다. 실제 분석가의 행동을 기반으로 훈련된 신경망 모델은 디자인 선택을 70–95%의 정확도로 예측하며, 공동 평가 기준에서 인간 전문가 수준의 성능을 보이며 이전의 기계학습 기반 시스템을 능가한다.

ABSTRACT

Data visualization should be accessible for all analysts with data, not just the few with technical expertise. Visualization recommender systems aim to lower the barrier to exploring basic visualizations by automatically generating results for analysts to search and select, rather than manually specify. Here, we demonstrate a novel machine learning-based approach to visualization recommendation that learns visualization design choices from a large corpus of datasets and associated visualizations. First, we identify five key design choices made by analysts while creating visualizations, such as selecting a visualization type and choosing to encode a column along the X- or Y-axis. We train models to predict these design choices using one million dataset-visualization pairs collected from a popular online visualization platform. Neural networks predict these design choices with high accuracy compared to baseline models. We report and interpret feature importances from one of these baseline models. To evaluate the generalizability and uncertainty of our approach, we benchmark with a crowdsourced test set, and show that the performance of our model is comparable to human performance when predicting consensus visualization type, and exceeds that of other ML-based systems.

연구 동기 및 목표

• 비전문가 분석가들이 시각화를 사용하기 위한 장벽을 낮추기 위해 디자인 결정을 자동화하기 위해.
• 수작업으로 만든 규칙에 의존하지 않고 실제 세계의 데이터세트-비주얼라이제이션 쌍에서 직접 시각화 디자인 선택을 학습하기 위해.
• 데이터 기반 학습을 통해 시각화 추천 시스템의 일반화 능력과 해석 가능성 향상하기 위해.
• 공동 평가 기준을 사용하여 인간의 합의와 비교해 모델 성능을 평가하기 위해.
• 기계학습 기반 추천 기능을 종단 간 시각화 시스템에 통합할 수 있도록 하기 위해.

제안 방법

• 저자들은 Plotly 커뮤니티 피드에서 100만 개의 고유한 데이터세트-비주얼라이제이션 쌍의 코퍼스를 수집하고 정제한다.
• 데이터세트 수준에서 841개의 특징을 추출하며, 이는 81개의 단일 컬럼, 30개의 쌍 컬럼, 16개의 집계 특징을 포함하여 데이터 유형, 분포, 관계를 기술한다.
• 각 비주얼라이제이션에서 시각화 유형과 축 할당과 같은 일곱 가지 핵심 디자인 선택을 추출하여 예측 대상으로 사용한다.
• 신경망은 데이터의 60%를 사용해 이러한 디자인 선택을 예측하도록 훈련하고, 성능은 20%의 별도 테스트 세트에서 평가한다.
• Mechanical Turkers에게 바, 선, 산점도 형태의 비주얼라이제이션으로 데이터세트를 제시하여 선호하는 시각화 유형에 대한 공식을 측정함으로써 공동 평가 기반 테스트 세트를 구성한다.
• 기본 모델에서 특징 중요도를 분석하여 어떤 데이터 성질이 디자인 결정에 가장 큰 영향을 미치는지 해석한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 실제 세계의 데이터세트-비주얼라이제이션 쌍에서 효과적인 시각화 디자인 선택을 학습할 수 있는가?
• RQ2 기계학습 기반 추천 시스템의 성능은 비주얼라이제이션 유형 선택에서 인간의 합의와 비교해 어떻게 되는가?
• RQ3 특정 시각화 디자인 선택을 예측하는 데 가장 예측력 있는 데이터 특징은 무엇인가?
• RQ4 모델은 새로운 데이터세트에 대해 일반화할 수 있으며, 비주얼라이제이션 선호도에 대한 불확실성을 다룰 수 있는가?
• RQ5 VizML의 성능은 기존의 규칙 기반 및 기계학습 기반 시각화 추천 시스템과 비교해 어떻게 되는가?

주요 결과

• 데이터세트-비주얼라이제이션 코퍼스의 60%를 기반으로 훈련된 신경망 모델은 20% 테스트 세트에서 디자인 선택 예측에 70–95%의 정확도를 달성한다.
• 공동 평가 기반 테스트에서 모델의 성능는 인간 평가자들과 유사하여, 비주얼라이제이션 유형 선택에서 인간의 합의와 강한 일치를 보임을 시사한다.
• DeepEye, Data2Vis, Draco-Learn와 같은 다른 기계학습 기반 시스템에 비해 시각화 디자인 선택 예측에서 더 뛰어난 성능을 보인다.
• 특징 중요도 분석을 통해 데이터 유형, 분포 형태, 컬럼 이름 성질이 시각화 추천에 가장 큰 영향을 미친다.
• 모델는 새로운 데이터세트에 대해 잘 일반화되며, 예측의 정교함과 낮은 불확실성을 보여준다.
• 특징 중요도를 통한 해석 가능성 지원과 종단 간 추천 파이프라인에의 통합 가능성을 통해 접근법의 실용성을 높인다.