[논문 리뷰] Critical Reflections on Visualization Authoring Systems

Arvind Satyanarayan, Bongshin Lee외 6명|arXiv (Cornell University)|2019. 07. 31.

Data Visualization and Analytics참고 문헌 39인용 수 7

한 줄 요약

이 논문은 라이라, 데이터 일러스터레이터, 차르티큘레이터 세 가지 상호작용형 시각화 저작 시스템에 대한 핵심적이고 반성적인 분석을 제시하며, 표현력, 학습 용이성, 재사용 가능성 사이의 설계적 트레이드오프에 대한 깊이 있는 비교적 통찰을 제공한다. 공통된 가정, 구현 선택 사항, 시스템 간 영향을 반영함으로써 저자들은 개별 시스템 논문에서 드러나지 않는 세련된 설계 결정을 드러내며, 향후 시각화 저작 시스템 연구를 위한 새로운 평가 프레임워크를 제안한다.

ABSTRACT

An emerging generation of visualization authoring systems support expressive information visualization without textual programming. As they vary in their visualization models, system architectures, and user interfaces, it is challenging to directly compare these systems using traditional evaluative methods. Recognizing the value of contextualizing our decisions in the broader design space, we present critical reflections on three systems we developed -- Lyra, Data Illustrator, and Charticulator. This paper surfaces knowledge that would have been daunting within the constituent papers of these three systems. We compare and contrast their (previously unmentioned) limitations and trade-offs between expressivity and learnability. We also reflect on common assumptions that we made during the development of our systems, thereby informing future research directions in visualization authoring systems.

연구 동기 및 목표

• 기존 평가 방법으로는 다양한 아키텍처와 상호작용 모델을 가진 복잡한 상호작용형 시각화 저작 시스템을 비교하는 데 어려움이 있기 때문에, 이러한 시스템을 비교하는 데 도전하는 것.
• 세 가지 서로 다른 시스템—라이아, 데이터 일러스터레이터, 차르티큘레이터—의 개발자들이 공유하고 있는 설계 결정과 차이점을 반성함으로써, 깊이 있는 설계 통찰을 도출하고 정의하는 것.
• 이 시스템들의 설계를 형성한 공통된 기초 가정을 특정하고 분석함으로써, 이러한 가정이 표현력, 학습 용이성, 재사용 가능성 사이의 트레이드오프에 어떻게 영향을 미쳤는지 밝혀내는 것.
• 비판적 반성이 상호작용형 시각화 시스템에 대해 실질적이고 유의미한 평가 방법이 될 수 있음을 제안하며, 표준 사용성 연구나 비교 실험보다 더 깊이 있는 통찰을 제공하는 것.
• 과거 연구에서 간과된 설계 트레이드오프를 폭로하고, 버전 제어 통합, 추천 시스템, 의미적 내보내기 형식과 같은 새로운 연구 방향을 제안함으로써 향후 연구를 안내하는 것.

제안 방법

• 세 개의 독립적으로 개발된 시각화 저작 시스템 간에 후속적이고 협업적인 비판적 반성 수행을 통해 저자들의 내부 시각을 활용하는 것.
• 사용 가능한 마크, 데이터 바인딩 메커니즘, 스케일 노출 방식, 레이아웃 명시 기법 등의 시스템 구성 요소를 비교함으로써 설계의 차이점과 유사점을 식별하는 것.
• 시스템 간 기능 상호 영향 분석—예를 들어, 차르티큘레이터가 라이아와 데이터 일러스터레이터의 데이터 바인딩 모델을 모두 통합한 것—을 통해 상호 영향을 드러내는 것.
• 템플릿 기반 재사용 메커니즘 평가—라이아의 JSON 기반 베가 명세, 차르티큘레이터의 파wr BI 호환 템플릿—을 통해 재사용성과 데이터 스키마 종속성의 정도를 평가하는 것.
• SVG, PNG, JSON 등의 내보내기 형식의 정밀도와 상호운용성 평가—래스터라이제이션 또는 SVG 내보내기 시 의미 정보 손실 및 데이터 세트 연결성 상실 등의 한계를 특정하는 것.
• 설계 정당화의 반성—기각된 프로토타입과 다른 상호작용 모델—을 통해 최종 설계 선택 사항의 세련된 이유를 밝혀내는 것.

실험 결과

연구 질문

• RQ1 라이아, 데이터 일러스터레이터, 차르티큘레이터의 설계 결정은 표현력과 학습 용이성을 균형 잡는 데 어떻게 다름과 그로 인한 트레이드오프는 무엇인가?
• RQ2 이 시스템들의 설계를 뒷받침하는 공통된 가정은 무엇이며, 이러한 가정은 특정 설계 선택 사항을 어떻게 제약하거나 가능하게 하는가?
• RQ3 비판적 반성이 상호작용형 시각화 시스템에서 전통적인 비교 평가 방법에 대한 실질적인 대안으로서 얼마나 유용한가?
• RQ4 이 시스템들의 내보내기 및 템플릿 메커니즘은 재사용성을 어떻게 지원하는가? 그리고 다양한 데이터 입력에서 의미적 및 구조적 정밀도를 유지하는 데 어떤 한계가 있는가?
• RQ5 이 시스템 개발 과정에서 설정된 기초 가정을 완화함으로써 어떤 향후 연구 기회가 드러나는가?

주요 결과

• 세 시스템은 스케일 노출 방식과 복잡한 레이아웃 명시 방식에서 뚜렷한 차이를 보이며, 라이아는 선언적이고 구조화된 모델링을 선호하고, 차르티큘레이터는 직접 조작을 강조하는 반면, 데이터 일러스터레이터는 하이브리드 방식을 사용한다.
• 공통된 목표가 있음에도 불구하고, 데이터 바인딩 방식에서 뚜렷한 차이를 보이며, 라이아는 선언적이고 스키마 인식 모델을 사용하고, 데이터 일러스터레이터는 시각적 드래그 기반 바인딩을 사용하고, 차르티큘레이터는 두 가지 방식을 두 가지 별도의 메커니즘을 통해 통합한다.
• 시각화 결과를 SVG나 래스터 이미지로 내보내면 데이터 세트 연결성과 의미 정보가 손실되어 재사용성과 새로운 데이터 또는 기기 형식에 대한 적응 가능성에 제약이 생긴다.
• 라이아(베가 JSON 기반)와 차르티큘레이터(사용자 정의 JSON 및 파워 BI 비주얼 기반)의 템플릿 기반 재사용은 다른 데이터로 새로운 시각화를 가능하게 하지만, 템플릿은 원본 스키마 구조에 밀접하게 결합되어 있다.
• 비판적 반성은 설계 선택 사항이 종종 고립된 기능이 아니라 쌓인 상호 연결된 결정의 결과였음을 드러내며, 개별 논문에서의 통찰만으로는 전체 이해가 부족하다는 것을 밝혀냈다.
• 저자들은 비판적 반성이 표준 사용성 테스트나 비교 연구보다 더 깊은 설계 정당화와 트레이드오프를 드러내는 데 가치 있는 평가 방법임을 결론짓는다.