[논문 리뷰] VizNet: Towards A Large-Scale Visualization Learning and Benchmarking Repository

Kevin Hu, Neil Gaikwad외 8명|arXiv (Cornell University)|2019. 05. 11.

Data Visualization and Analytics인용 수 7

한 줄 요약

VizNet는 공개 데이터 저장소 및 시각화 플랫폼에서 유래한 실제 세계의 3100만 개 데이터셋으로 구성된 대규모 공개 코퍼스를 소개하여 시각화 기법의 표준화된 벤치마킹을 가능하게 한다. 스케일러블한 커뮤니티 기반 실험과 시각적 인코딩 효과성 예측을 위한 머신러닝의 적용을 통해, 이 연구는 시각화 설계 분야에서 재현 가능하고 데이터 기반의 연구 기반을 마련한다.

ABSTRACT

Researchers currently rely on ad hoc datasets to train automated visualization tools and evaluate the effectiveness of visualization designs. These exemplars often lack the characteristics of real-world datasets, and their one-off nature makes it difficult to compare different techniques. In this paper, we present VizNet: a large-scale corpus of over 31 million datasets compiled from open data repositories and online visualization galleries. On average, these datasets comprise 17 records over 3 dimensions and across the corpus, we find 51% of the dimensions record categorical data, 44% quantitative, and only 5% temporal. VizNet provides the necessary common baseline for comparing visualization design techniques, and developing benchmark models and algorithms for automating visual analysis. To demonstrate VizNet's utility as a platform for conducting online crowdsourced experiments at scale, we replicate a prior study assessing the influence of user task and data distribution on visual encoding effectiveness, and extend it by considering an additional task: outlier detection. To contend with running such studies at scale, we demonstrate how a metric of perceptual effectiveness can be learned from experimental results, and show its predictive power across test datasets.

연구 동기 및 목표

• 시각화 설계 기법 평가를 위한 표준화되고 대규모인 데이터셋의 부족을 해결하기 위해.
• 실제 세계의 데이터 특성을 반영한 현실적이고 다양한 데이터셋 코퍼스를 구축하여 시각화 연구의 생태학적 타당성을 향상시키기 위해.
• 다양한 작업 및 데이터 분포에서 시각적 인코딩 효과성을 평가하기 위한 스케일러블하고 온라인 기반의 커뮤니티 기반 실험을 가능하게 하기 위해.
• 인간 레이블링에 의존도를 줄이기 위해 시각적 설계의 인지적 효과성을 예측하는 머신러닝 모델을 개발하기 위해.
• 자동화된 시각화 시스템 간 비교를 위한 공통 벤치마크를 제공하고, 시각화 분야에서 재현 가능한 연구를 촉진하기 위해.

제안 방법

• Tableau Public 등의 온라인 시각화 갤러리 및 ClueWeb09 등의 웹 크롤링을 포함해, 개방형 데이터 저장소에서 약 3100만 개의 데이터셋을 통합하였다.
• 차원 수(평균 3개), 데이터 유형(51% 범주형, 44% 정량형, 5% 시간적), 엔트로피 및 최적 적합 분포와 같은 통계적 특성 등을 포함한 데이터셋 특성들을 기록하였다.
• 값 추정 및 이질적 값 탐지 등의 작업을 포함해, VizNet에서의 커뮤니티 기반 평가를 통해 이전의 그래픽적 인지 연구를 복제하고 확장하였다.
• 커뮤니티 기반 평가에서의 인간 판단 레이블을 기반으로 시각적 인코딩의 인지적 효과성을 예측하는 머신러닝 모델을 개발하였다.
• 자기학습 및 불확실성 샘플링을 포함한 활성 학습 전략을 적용하여, 최소한의 인간 레이블링으로도 모델 성능을 반복적으로 향상시켰다.
• https://viznet.media.mit.edu/를 통해 VizNet 코퍼스, 데이터 수집 스크립트, 분석 도구를 공개하였다.

실험 결과

연구 질문

• RQ1 기존의 시각화 연구에서 사용된 시뮬레이션 또는 특수 목적의 데이터셋과 비교해 실제 세계의 데이터셋은 데이터 구조 및 유형 구성 측면에서 어떻게 다를까?
• RQ2 작업 유형과 데이터 분포가 실제 세계 데이터에서 시각적 인코딩의 효과성에 어느 정도 영향을 미치는가?
• RQ3 커뮤니티 기반 판단 데이터로 학습된 머신러닝 모델이 새로운 (데이터, 시각화, 작업) 조합에서 시각적 인코딩의 인지적 효과성을 예측할 수 있는가?
• RQ4 활성 학습 전략은 대규모 시각화 벤치마킹에서 레이블링 비용을 줄이면서도 높은 예측 정확도를 유지하는 데 어떻게 기여하는가?
• RQ5 기존 데이터 코퍼스에서 드러나는 주요 편향은 무엇이며, 이는 시각화 연구 결과의 일반화 가능성에 어떤 영향을 미치는가?

주요 결과

• VizNet 코퍼스는 평균 17건의 레코드와 3개의 차원을 가진 3100만 개의 데이터셋을 포함하며, 실제 세계의 데이터 분포를 반영한다: 51% 범주형, 44% 정량형, 5% 시간적.
• 이전 연구의 복제 결과는 대부분 일관된 결과를 보였지만, VizNet에 포함된 실제 세계 데이터셋의 다양성으로 인해 통계적으로 유의미한 차이가 발견되었다.
• 이상치 탐지 작업을 추가함으로써, 이전에 더 제한된 연구에서는 포착되지 못한 인코딩 성능에 대한 새로운 통찰을 도출하였다.
• 인간 판단 데이터 기반으로 학습된 머신러닝 모델은 새로운 조합에서 시각적 인코딩 효과성 예측에 비랜덤한 성능을 보였다.
• 활성 학습 전략—특히 불확실성 샘플링과 자기학습—을 통해 반복적으로 모델 정확도가 향상되었으며, 전체 인간 레이블링의 필요성을 줄였다.
• 코퍼스는 Kaggle, Tableau Public, Rdatasets 등의 데이터 소스 간에 심각한 편향을 드러내어, 향후 연구에서 샘플링 전략과 편향 인식 평가의 중요성을 강조한다.