[논문 리뷰] How Good is ChatGPT in Giving Advice on Your Visualization Design?

Nam Wook Kim, Ahn, Yongsu외 2명|arXiv (Cornell University)|2023. 10. 14.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 연구는 실질적인 전문가 질문에 대한 답변을 비교함으로써 챗지피티의 데이터 시각화 설계 조언 능력을 평가한다. 혼합 방법론을 사용하여 포럼 게시물 분석과 사용자 연구를 수행한 결과, 챗지피티는 넓이, 명확성, 포괄성 측면에서 인간 전문가의 답변과 동일하거나 이를 초월하는 것으로 나타났지만, 깊이, 미묘함, 대화 적응성 측면에선 인간 전문가가 더 선호됨.

ABSTRACT

Data visualization creators often lack formal training, resulting in a knowledge gap in design practice. Large language models such as ChatGPT, with their vast internet-scale training data, offer transformative potential to address this gap. In this study, we used both qualitative and quantitative methods to investigate how well ChatGPT can address visualization design questions. First, we quantitatively compared the ChatGPT-generated responses with anonymous online Human replies to data visualization questions on the VisGuides user forum. Next, we conducted a qualitative user study examining the reactions and attitudes of practitioners toward ChatGPT as a visualization design assistant. Participants were asked to bring their visualizations and design questions and received feedback from both Human experts and ChatGPT in randomized order. Our findings from both studies underscore ChatGPT's strengths, particularly its ability to rapidly generate diverse design options, while also highlighting areas for improvement, such as nuanced contextual understanding and fluid interaction dynamics beyond the chat interface. Drawing on these insights, we discuss design considerations for future LLM-based design feedback systems.

연구 동기 및 목표

• 비전문가 실무자들이 공식 교육을 받지 못한 상태에서 데이터 시각화 설계 지식의 격차를 해소하기 위해.
• 챗지피티와 같은 대규모 언어 모델이 설계 피드백을 제공하는 데 있어 인간 전문가의 유망한 대안 또는 보완이 될 수 있는지 조사하기 위해.
• 챗지피티와 인간 전문가로부터 피드백을 받을 때 실무자들의 인식, 선호도, 경험을 이해하기 위해.
• 핵심 평가 지표와 실제 적용 사례를 규명함으로써 향후 LLM의 데이터 시각화 분야에서의 벤치마킹 기반을 마련하기 위해.
• LLM 기반 보조자가 시각화 도구 및 교육 현장에 어떻게 효과적으로 통합될 수 있을지 탐색하기 위해.

제안 방법

• VisGuide 포럼의 100개 이상의 질문에 대해 양방향 평가 지표 6개(포괄성, 관련성, 넓이, 명확성, 깊이, 실행 가능성)를 사용해 챗지피티가 생성한 답변과 인간 전문가의 답변을 비교한 정량적 분석을 수행함.
• 21명의 실무자들이 자신의 시각화 자료를 가져와 무작위 순서로 챗지피티와 인간 전문가로부터 피드백을 받는 혼합 방법론 사용자 연구를 수행함.
• 사용자 인식, 선호도, 피드백 품질 평가를 위해 구조화된 경험 설문조사와 후기 인터뷰를 수집함.
• 사용자 피드백의 패턴을 식별하기 위해 주제 분석을 수행하였으며, 특히 소통 방식, 전문성 인식, AI와 인간 조언에 대한 신뢰도에 초점을 맞춤.
• 차트 선택, 데이터 인코딩, 시각적 명확성 등 다양한 시각화 설계 과제에 대해 챗지피티의 성능을 평가함.
• 수집된 데이터셋과 평가 지표를 바탕으로 향후 LLM의 데이터 시각화 분야에서의 벤치마킹을 위한 프레임워크를 제안함.

Figure 1: Methodology Overview: The methodology comprises two key phases. In the first phase, questions answered within a forum space by Human respondents are explored and then presented to ChatGPT . The second phase involves a feedback session in which users solicit visualization design feedback fr

실험 결과

연구 질문

• RQ1 RQ1: 챗지피티는 핵심 평가 지표 측면에서 인간 전문가의 지식 수준에 비견될 수 있는가, 특히 답변 품질 측면에서?
• RQ2 RQ2: 시각화 실무자들은 챗지피티의 피드백과 인간 전문가의 피드백을 어떻게 인식하고 반응하는가?
• RQ3 RQ3: 챗지피티는 실행 가능한, 미묘한, 맥락 인식 가능한 설계 조언을 제공하는 데서 어떤 강점과 한계를 지니는가?
• RQ4 RQ4: LLM 기반 보조자는 어떻게 효과적으로 시각화 워크플로우와 교육적 맥락에 통합될 수 있는가?

주요 결과

• 챗지피티는 포괄성, 넓이, 명확성 측면에서 인간 전문가의 답변을 능가하여 시각화 설계 질문에 대해 종합적이고 잘 정리된 답변을 제공함.
• 실무자들은 인간 전문가의 유연하고 적응 가능한 대화 방식과 깊이 있는 맥락 민감한 비판 능력 덕분에 항상 인간 전문가를 선호함.
• 챗지피티는 다양한 설계 제안과 아이디어 도출 측면에서 뛰어난 성능을 보였으며, 특히 초도 단계의 설계 탐색에 매우 유용함.
• 넓은 지식 기반에도 불구하고 챗지피티는 깊이와 비판적 사고에 어려움을 겪어 종종 일반적이거나 표면적인 피드백을 생성함.
• 참가자들은 챗지피티의 수동적이고 수긍적인 커unikation 스타일이 사용자의 가정을 도전하거나 복잡한 설계 결정을 안내하는 데 능력을 제한함을 보고함.
• 본 연구는 향후 LLM이 시각적 인지 능력을 향상하고 더 능동적이고 대화 중심의 상호작용 패턴을 채택하여 설계 사고 지원을 더 잘할 수 있도록 해야 한다는 필요성을 규명함.

Figure 2: Comparison of metric scores between Human and ChatGPT responses: the chart showcases the existence of significant differences for the metrics of breadth, clarity, and coverage, while the scores for actionablity, depth and topicality were comparable for ChatGPT and Human response ratings. E