[논문 리뷰] A Bayesian cognition approach for belief updating of correlation judgement through uncertainty visualizations

Alireza Karduni, Doug Markant외 2명|arXiv (Cornell University)|2020. 07. 31.

Data Visualization and Analytics참고 문헌 54인용 수 7

한 줄 요약

이 논문은 이元적 믿음과 이元적 상관관계에 대한 불확실성에 대해 캡처하기 위해 베이지안 인지 모델링을 사용하여 산점도에서의 믿음 갱신을 분석하는 데 목적이 있는 새로운 '선 + 원뿔' 시각적 유도 방법을 제안한다. 주요 발견은 불확실성 시각화가 믿음 갱신을 감소시킨다는 것으로, 특히 데이터가 이원적 믿음을 반박할 경우에 더욱 두드러진다. 이는 이러한 시각화가 기존 지식과 새로운 증거를 균형 잡는 데 도움을 주어 판단을 안정화시킬 수 있음을 시사한다.

ABSTRACT

Understanding correlation judgement is important to designing effective visualizations of bivariate data. Prior work on correlation perception has not considered how factors including prior beliefs and uncertainty representation impact such judgements. The present work focuses on the impact of uncertainty communication when judging bivariate visualizations. Specifically, we model how users update their beliefs about variable relationships after seeing a scatterplot with and without uncertainty representation. To model and evaluate the belief updating, we present three studies. Study 1 focuses on a proposed ''Line + Cone'' visual elicitation method for capturing users' beliefs in an accurate and intuitive fashion. The findings reveal that our proposed method of belief solicitation reduces complexity and accurately captures the users' uncertainty about a range of bivariate relationships. Study 2 leverages the ``Line + Cone'' elicitation method to measure belief updating on the relationship between different sets of variables when seeing correlation visualization with and without uncertainty representation. We compare changes in users beliefs to the predictions of Bayesian cognitive models which provide normative benchmarks for how users should update their prior beliefs about a relationship in light of observed data. The findings from Study 2 revealed that one of the visualization conditions with uncertainty communication led to users being slightly more confident about their judgement compared to visualization without uncertainty information. Study 3 builds on findings from Study 2 and explores differences in belief update when the bivariate visualization is congruent or incongruent with users' prior belief. Our results highlight the effects of incorporating uncertainty representation, and the potential of measuring belief updating on correlation judgement with Bayesian cognitive models.

연구 동기 및 목표

• 이원적 시각화에서의 이원적 믿음과 불확실성 표현이 사용자들의 상관관계 판단에 어떻게 영향을 미치는지 조사하기 위해.
• 이원적 관계에 대한 주관적 믿음과 불확실성을 유도하기 위한 사용자 우호적인 시각적 방법을 개발하고 검증하기 위해.
• 사용자들이 시각화된 데이터에 대해 믿음을 합리적으로 갱신하는지 평가하기 위해, 정규 기준으로서의 베이지안 인지 모델링을 적용하기 위해.
• 불확실성 시각화가 믿음 갱신에 어떻게 영향을 미치는지, 특히 데이터가 이원적 믿음을 반박할 경우에 대해 조사하기 위해.
• 시각화 디자인이 사용자들이 상관관계를 해석할 때 자신감과 정확성에 어떻게 영향을 미치는지 이해하기 위해.

제안 방법

• 사용자가 이원적 관계에 대한 이원적 믿음을 표현하기 위해 선(기대 상관관계)과 원뿔(불확실성 범위)을 조정하는 '선 + 원뿔' 방법을 제안한다.
• 인터랙티브 시각적 유도를 통해 참가자들의 주관적 확률 분포의 평균(선)과 분산(원뿔)을 모두 캡처한다.
• 참가자들의 실제 믿음 갱신(사후 분포)을 세 가지 정규 기준 모델인 Prior-only, Bayesian-Informed, 그리고 Bayesian-Uniform 모델과 비교하기 위해 베이지안 인지 모델링을 사용한다.
• 세 가지 실험 연구를 수행한다: (1) 유도 방법의 타당성 검증, (2) 불확실성 시각화 유무에 따른 믿음 갱신 비교, (3) 일치/불일치 데이터 조건에서 믿음 갱신 테스트.
• 조건 간 평균 상관관계 추정치와 불확실성(표준편차)의 변화를 측정하여 믿음 갱신의 역학을 분석한다.
• 통계적 모델 비교(AIC/BIC)를 통해 관찰된 사후 분포를 가장 잘 설명하는 베이지안 모델을 결정한다.

Figure 1: Elicitation methods in Study 1. A: For the Line + Cone elicitation, participants first recorded the belief about the most likely relationship between two variables (red line), then adjusted the set of plausible alternatives based on their uncertainty (gray lines). B: For the MCMC-P elicita

실험 결과

연구 질문

• RQ1 이원적 믿음은 이원적 시각화에서 사용자들이 상관관계를 판단하는 데 어떻게 영향을 미치는가?
• RQ2 데이터가 이원적 믿음을 지지하거나 반박할 경우, 불확실성 시각화의 존재가 믿음 갱신에 어떻게 영향을 미치는가?
• RQ3 사용자들이 상관관계 시각화를 볼 때, 불확실성 유무에 관계없이 베이지안 추론과 일치하는 정도로 믿음을 갱신하는가?
• RQ4 불확실성 표현 방식(예: 원뿔 대 HOPs)은 사용자들의 자신감과 믿음의 안정성에 어떻게 영향을 미치는가?
• RQ5 시각화 환경에서 후행 믿음에 대해 이원적 믿음과 새로운 데이터 증거 중 어느 쪽이 더 큰 영향을 미치는가?

주요 결과

• '선 + 원뿔' 방법은 높은 정확도와 낮은 인지 부하로 이원적 상관관계에 대한 사용자들의 이원적 믿음과 불확실성을 성공적으로 캡처했다.
• 불확실성 표현이 포함된 시각화에서는, 특히 데이터가 이원적 믿음을 반박할 경우, 불확실성 없이 제공된 경우보다 믿음 갱신이 유의미하게 감소했다.
• 참가자들의 사후 믿음은 베이지안-균일 모델에 의해 가장 잘 설명되었으며, 이는 새로운 데이터가 유도된 사전 믿음보다 더 강한 영향을 미쳤음을 시사한다.
• 사용자들은 극단적인 표본 상관관계를 관찰할수록 불확실성을 더 줄였다. 이는 데이터 강도에 민감함을 보였다.
• 표본 크기가 작을수록(예: n=10 대비 n=100) 불확실성이 증가했으며, 이는 선만 존재하는 조건에서도 마찬가지였다. 이는 사용자들이 작은 데이터셋에서 신뢰성이 떨어진다고 직관적으로 인지하고 있음을 시사한다.
• 베이지안 모델 예측과 달리, 참가자들은 모델 예측보다 더 큰 사후 불확실성을 표현했으며, 이는 사전 유도 과정에서의 과신 또는 원뿔 해석의 불일치 가능성을 시사한다.

Figure 2: Study 2 Design. Each user goes through ten variable sets (five variables for two rounds) and elicit their belief before and after seeing data visualizations about each variable set. In Round 1, the user views five variable sets through only scatterplots. In Round 2, the user is randomly as