[논문 리뷰] Beyond Heuristics: Learning Visualization Design

Bahador Saket, Dominik Moritz외 4명|arXiv (Cornell University)|2018. 07. 17.

Data Visualization and Analytics참고 문헌 24인용 수 22

한 줄 요약

이 논문은 수작업으로 정리된 히우리스틱을 넘어서 기계학습을 사용해 경험적 사용자 데이터로부터 직접 시각화 디자인 원칙을 학습하는 방법을 제안한다. 스케일러블한 데이터 수집, 해석 가능한 모델, 새로운 데이터에 따라 진화하는 적응형 시스템을 통해 자동화되고 편향이 없으며 재현 가능한 시각화 추천 도구를 실현하고자 한다.

ABSTRACT

In this paper, we describe a research agenda for deriving design principles directly from data. We argue that it is time to go beyond manually curated and applied visualization design guidelines. We propose learning models of visualization design from data collected using graphical perception studies and build tools powered by the learned models. To achieve this vision, we need to 1) develop scalable methods for collecting training data, 2) collect different forms of training data, 3) advance interpretability of machine learning models, and 4) develop adaptive models that evolve as more data becomes available.

연구 동기 및 목표

• 업데이트가 느리고 편향이 발생하기 쉬운 수작업으로 정리된 시각화 디자인 히우리스틱의 한계를 해결한다.
• 그래픽 인지 연구에서 유래한 데이터 기반의 자동화된 시각화 디자인 원칙 유도를 가능하게 한다.
• 새로운 경험적 데이터가 제공될 때마다 진화하는 스케일러블하고 해석 가능하며 적응형 기계학습 모델을 개발한다.
• 기존 인지 연구 데이터의 접근성과 재사용 가능성을 높이기 위해 이를 통합된 레포지토리로 통합한다.
• 사용자 피드백과 의도에 따라 진화하는 시각화 추천 시스템을 구축하여 추천 이유를 설명한다.

제안 방법

• 시각화 인지 연구에서 확보한 기존 데이터셋을 활용해 기계학습 모델을 훈련시어 시각화 디자인에 적용한다.
• 사용자 성과 데이터에서 학습하는 모델을 설계하여 효과적인 시각적 인코딩과 디자인 트레이드오���을 유추한다.
• 모델 기반 추천에 대한 인간이 읽을 수 있는 설명을 생성하기 위해 해석 가능성 도구를 통합한다.
• 고품질, 다양한, 맥락이 풍부한 훈련 데이터 확보를 위해 액티브 러닝 및 데이터 쿠레이션 전략을 활용한다.
• 사용자 피드백을 통합하고 새로운 데이터가 수집되고 통합됨에 따라 진화하는 적응형 모델을 개발한다.
• 데이터 포맷을 표준화하고 연구 공동체 전반에서 인지 연구 결과에 접근할 수 있도록 중앙집중식 레포지토리를 구축한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 경험적 사용자 성과 데이터에서 직접 시각화 디자인 원칙을 유도할 수 있는가?
• RQ2 강력한 모델을 훈련하기 위해 인지 연구 데이터를 수집하고 쿠레이션하며 표준화하는 데 있어 핵심 과제는 무엇인가?
• RQ3 기계학습 모델은 사용자에게 추천 이유를 설명하기 위해 어떻게 해석 가능하게 만들 수 있는가?
• RQ4 상호작용적 데이터 탐색 과정에서 사용자 의도와 피드백이 변화함에 따라 추천 시스템은 어떻게 적응할 수 있는가?
• RQ5 새로운 경험적 데이터가 제공될 때마다 지속적으로 학습하고 향상시킬 수 있도록 모델은 어떻게 설계할 수 있는가?

주요 결과

• 기존의 시각화 디자인 가이드라인은 수십 년에 걸친 경험적 연구에서 유래되었지만, 수작업으로 정리되어 업데이트가 느리다.
• 인지 연구 데이터를 기반으로 훈련된 기계학습 모델은 더 빠르고 재현 가능하며 편향이 없는 방식으로 디자인 원칙을 자동 적용할 수 있다.
• 추천 이유를 설명하기 위해 해석 가능한 모델이 필수적이다. 예를 들어 특정 시각화 유형이 제안된 이유나 결정에 影향을 미친 데이터 특성 등을 설명할 수 있다.
• 사용자 피드백을 통합한 적응형 모델은 시간이 지남에 따라 추천 정확도를 향상시켜 반복적인 데이터 탐색을 지원할 수 있다.
• 중앙집중식이고 표준화된 인지 연구 데이터 레포지토리가 존재할 경우 데이터 접근성과 모델의 일반화 능력이 크게 향상될 것이다.
• 현재의 시스템은 정적 기능 세트와 훈련 데이터에 국한되어 있다. 향후 모델은 새로운 데이터와 새로운 디자인 규칙에 따라 진화해야 한다.