[논문 리뷰] ML-based Visualization Recommendation: Learning to Recommend Visualizations from Data

Xin Qian, Ryan A. Rossi외 6명|arXiv (Cornell University)|2020. 09. 25.

Data Visualization and Analytics참고 문헌 15인용 수 11

한 줄 요약

이 논문은 대규모 데이터셋 및 시각화 자료 코퍼스에서 학습하여, 새로운 미리보지 않은 데이터셋에 대해 자동으로 효과적인 시각화를 생성하고 평가하며 순위를 매기는 엔드 투 엔드 기계학습 기반의 시각화 추천 시스템을 제안한다. 넓은-깊은 신경망 아키텍처를 사용하여, 규칙 기반 시스템에 비해 데이터에서 미묘한 시각적 디자인 선호도를 학습함으로써 전문가 선호도(5.92/7 대비 3.45)가 유의미하게 높아지고, 규칙 기반 접근 방식에서 흔히 발생하는 동점 처리 문제를 해결한다.

ABSTRACT

Visualization recommendation seeks to generate, score, and recommend to users useful visualizations automatically, and are fundamentally important for exploring and gaining insights into a new or existing dataset quickly. In this work, we propose the first end-to-end ML-based visualization recommendation system that takes as input a large corpus of datasets and visualizations, learns a model based on this data. Then, given a new unseen dataset from an arbitrary user, the model automatically generates visualizations for that new dataset, derive scores for the visualizations, and output a list of recommended visualizations to the user ordered by effectiveness. We also describe an evaluation framework to quantitatively evaluate visualization recommendation models learned from a large corpus of visualizations and datasets. Through quantitative experiments, a user study, and qualitative analysis, we show that our end-to-end ML-based system recommends more effective and useful visualizations compared to existing state-of-the-art rule-based systems. Finally, we observed a strong preference by the human experts in our user study towards the visualizations recommended by our ML-based system as opposed to the rule-based system (5.92 from a 7-point Likert scale compared to only 3.45).

연구 동기 및 목표

• 규칙 기반 시각화 추천 시스템의 한계를 해결하기 위해, 낮은 분류 능력, 고정된 점수 체계, 높은 유지보수 비용을 해결한다.
• 실제 사용자가 생성한 시각화 자료에서 학습하는 완전히 데이터 기반의 자동화되고 확장 가능한 시스템을 개발한다.
• 규칙 기반 시스템에서 발생하는 동일한 점수 문제를 해결하기 위해, 딥 러닝을 통해 연속적이고 의미 있는 점수를 학습한다.
• 수동 재설정 없이도 새로운 데이터셋에 일반화 가능하도록 적용 가능한 추천 모델을 구축한다.
• 정량적 평가, 사용자 연구, 정성적 분석을 통해 시스템의 효과성을 검증한다.

제안 방법

• 기계학습 기반의 시각화 추천 문제를 속성 조합과 시각화 구성에 대한 학습 과제로 정의한다.
• 광범위한 선형 특징(예: 속성 유형, 레이아웃 선호도)과 데이터 및 시각화 구조의 깊이 있는 표현을 결합한 넓은-깊은 신경망을 설계한다.
• 실제 데이터셋과 관련된 시각화 자료로 구성된 대규모 코퍼스에서 모델을 엔드 투 엔드로 훈련하여 시각화 효과성 점수를 예측한다.
• 학습 데이터에서 얻은 패턴을 기반으로, 새로운 미리보지 않은 데이터셋에 대해 시각화를 생성하고, 평가하며 순위를 매긴다.
• 사람의 디자인 선호도(예: 가로 레이아웃을 세로 레이아웃보다 선호)를 하드코딩된 규칙이 아닌 데이터 기반 신호로 모델에 통합한다.
• 미리보지 않은 데이터에서 순위 품질과 모델 성능을 정량적으로 평가하기 위한 종합적인 평가 프레임워크를 개발한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 엔드 투 엔드 기계학습 모델은 규칙 기반 시스템보다 더 효과적인 시각화를 추천할 수 있는가?
• RQ2 재학습이나 수동 설정 없이도 새로운 미리보지 않은 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ3 규칙 기반 시스템에서 흔히 발생하는 동점 문제(여러 시각화가 동일한 점수를 받는 문제)를 어느 정도 해결할 수 있는가?
• RQ4 전문가들은 기계학습 기반 시스템이 추천한 시각화와 규칙 기반 시스템이 추천한 시각화의 품질과 유용성에 대해 어떻게 평가하는가?
• RQ5 기존 규칙 기반 시스템에 포함되어 있지 않은, 데이터에서 학습한 모델의 디자인 및 레이아웃 선호도는 무엇인가?

주요 결과

• 기계학습 기반 시스템은 평균 전문가 선호도 점수 5.92/7을 기록하여, 규칙 기반 시스템의 3.45보다 유의미하게 높게 나타나, 사용자 선호도가 높음을 시사한다.
• 20명의 전문가를 대상으로 한 사용자 연구에서, 기계학습 기반 시스템의 상위 순위 시각화가 전문가의 최우선 선택과 정확히 일치하여 전문가 판단과의 높은 일치도를 보였다.
• 규칙 기반 시스템에서 흔히 발생하는 동점 문제(여러 시각화가 모두 0점으로 동일한 점수를 받는 문제)를 해결하기 위해, 연속적이고 구분 가능한 점수를 학습함으로써 성공적으로 해결하였다.
• 넓은-깊은 아키텍처는 수평 레이아웃을 수직 레이아웃보다 선호하는 등의 복잡한 시각화 선호도를 효과적으로 포착하였다. 이는 전문가의 실천과 일치한다.
• 정성적 분석을 통해, 기존 규칙 기반 시스템에 존재하지 않는 미묘하고 비직관적인 시각적 디자인 규칙을 모델이 데이터에서 학습한 것으로 확인되었다.
• 정량적 평가를 통해, 모델이 시각화 순위를 보다 효과적으로 매겼음을 확인하였으며, 기준 규칙 기반 접근 방식보다 유의미하게 뛰어난 성능을 보였다.