[논문 리뷰] Not As Easy As You Think -- Experiences and Lessons Learnt from Trying to Create a Bottom-Up Visualization Image Typology

Jian Chen, Petra Isenberg외 5명|arXiv (Cornell University)|2022. 09. 15.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 1990–2020년 동안의 IEEE VIS 논문 6,833개의 그림을 대상으로 한 2년간의 정성적 분석을 바탕으로, 13종류의 시각화 이미지 유형에 대한 새로운 바닥에서부터 시작하는 분류 체계를 제시한다. 초보자들이 단순하다고 생각했지만, 코드화 과정에서 인지적 모호성과 해석의 다양성이 드러나면서, 연구, 교육, 향후 표준화를 지원하는 견고하고 공동 검증된 분류 체계로 발전시켰다.

ABSTRACT

We present and discuss the results of a two-year qualitative analysis of images published in IEEE Visualization (VIS) papers. Specifically, we derive a typology of 13 visualization image types, coded to distinguish visualizations and several image characteristics. The categorization process required much more time and was more difficult than we initially thought. The resulting typology and image analysis may serve a number of purposes: to study the evolution of the community and its research output over time, to facilitate the categorization of visualization images for the purpose of teaching, to identify visual designs for evaluation purposes, or to enable progress towards standardization in visualization. In addition to the typology and image characterization, we provide a dataset of 6,833 tagged images and an online tool that can be used to explore and analyze the large set of tagged images. We thus facilitate a discussion of the diverse visualizations used and how they are published and communicated in our community.

연구 동기 및 목표

• 시각적 외관에 기반하여 데이터나 의도가 아닌 시각적 특성에 따라 종합적이고 바닥에서부터 시작하는 시각화 이미지 분류 체계를 개발하기 위해.
• 실제 학술 논문에서 시각화 이미지를 분류하는 데 관련된 과제와 복잡성을 이해하기 위해.
• 시스템적 분석, 교육, 이미지 검색을 가능하게 하여 향후 시각화 연구를 지원하기 위해.
• 30년에 걸친 IEEE VIS 논문에서 반복되는 시각적 디자인 패턴과 그 변화를 식별하기 위해.
• 시각화 연구 공동체에서 시각화 이미지 유형을 탐색하고 분석할 수 있는 데이터셋과 온라인 도구를 제공하기 위해.

제안 방법

• 1990년부터 2020년까지 695편의 IEEE VIS 논문에서 유래한 6,833개의 그림에 대해 2년간의 정성적 코드화 과정을 수행하였다.
• 데이터 의미나 저자 의도가 아닌, 시각적 디자인, 차원성, 구조적 특성에 기반하여 13종류의 시각화 이미지 유형 분류 체계를 개발하였다.
• 의심스러운 사례를 해결하고 카테고리들을 개선하기 위해 전문 코드러 간의 반복적 합의 절차를 활용하였다.
• 시각적 외관(예: 2차원 스케마틱, 3차원 표면/체적 렌더링, 선 기반, GUI, 글라이프, 격자 기반 등)을 기반으로 이미지를 분류하고, 차원성과 인지적 모호성 등의 메타데이터를 추가하였다.
• 6,833개의 태그된 이미지로 구성된 데이터셋을 생성하고, 상호작용 가능한 탐색과 분석을 위한 온라인 도구를 구축하였다.
• 2년간의 내부 일관성 검증과 반복적 개선을 통해 분류 체계를 검증하였으며, 코드러 간 일치도와 인지적 불확실성의 한계를 인정하였다.

실험 결과

연구 질문

• RQ1 IEEE VIS 논문에서 30년에 걸쳐 가장 흔한 시각화 이미지 유형은 무엇인가?
• RQ2 시각적 외관만으로 시각화 이미지를 일관되게 분류하는 데 얼마나 어려운가? 코드화의 모호성을 유발하는 요소는 무엇인가?
• RQ3 전문 코드러 간에 이미지 분류에 얼마나 높은 일치도를 보이며, 이전 전문 지식은 분류 정확도에 어떤 영향을 미치는가?
• RQ4 시각화 이미지에 대한 바닥에서부터 시작하는 분류 체계가 연구, 교육, 표준화의 기초로 기능할 수 있는가?
• RQ5 시각화 연구 논문에서 시각적 디자인 경향과 이미지 유형은 시간이 지남에 따라 어떻게 변화하는가?

주요 결과

• 가장 흔한 시각화 이미지 유형은 2차원 스케마틱(1,432개), 3차원 표면/체적 렌더링(655개), 선 기반 기법(643개), GUI(411개)이며, 이들은 분석된 6,833개의 이미지 중 73%를 차지한다.
• 공동 전문 지식을 공유하고 있음에도 불구하고, 특히 체적 렌더링, 글라이프, 격자 기반 기법에서 코드러 간의 상당한 의견 차이가 발생하여 인지적 및 해석적 불확실성을 시사한다.
• 코드화 과정은 예상보다 훨씬 복잡하고 시간이 많이 소요되었으며, 하이브리드 디자인과 표준 정의의 부재로 인해 명확한 분류가 어려운 이미지가 다수 존재하였다.
• 전문 코드러조차도 유사한 기법들(예: 체적 렌더링 대비 표면 렌더링)을 구분하는 데 어려움을 겪었으며, 이미지가 낯설면 도메인 전문가조차 오류를 범했다.
• 최종적으로 도출된 13종류의 이미지 유형 분류 체계는 시각적 외관에 기반한 시각화 출력의 분류를 위한 안정적이고 공동 검증된 프레임워크를 제공한다.
• 6,833개의 태그된 이미지로 구성된 데이터셋과 관련된 온라인 도구는 시각적 디자인 경향의 심층적 탐색을 가능하게 하며, 향후 이미지 검색 및 시각화 분석 연구를 지원한다.