[論文レビュー] A Bayesian cognition approach for belief updating of correlation judgement through uncertainty visualizations

Alireza Karduni, Doug Markant+2 more|arXiv (Cornell University)|Jul 31, 2020

Data Visualization and Analytics参考文献 54被引用数 7

ひとこと要約

本稿では、バナディエート相関に関するユーザーの事前の信念と不確実性を捉えるために、ベイジアン認知モデリングを用いて、不確実性可視化あり・なしの散布図に対する信念の更新を分析する、革新的な「ライン＋コーン」視覚的誘導法を提案する。主な発見として、不確実性可視化は、とくにデータが事前の信念と矛盾する場合に信念の更新を抑制することが示され、こうした可視化が事前の知識と新しい証拠のバランスを取ることで判断を安定化させる可能性を示唆している。

ABSTRACT

Understanding correlation judgement is important to designing effective visualizations of bivariate data. Prior work on correlation perception has not considered how factors including prior beliefs and uncertainty representation impact such judgements. The present work focuses on the impact of uncertainty communication when judging bivariate visualizations. Specifically, we model how users update their beliefs about variable relationships after seeing a scatterplot with and without uncertainty representation. To model and evaluate the belief updating, we present three studies. Study 1 focuses on a proposed ''Line + Cone'' visual elicitation method for capturing users' beliefs in an accurate and intuitive fashion. The findings reveal that our proposed method of belief solicitation reduces complexity and accurately captures the users' uncertainty about a range of bivariate relationships. Study 2 leverages the ``Line + Cone'' elicitation method to measure belief updating on the relationship between different sets of variables when seeing correlation visualization with and without uncertainty representation. We compare changes in users beliefs to the predictions of Bayesian cognitive models which provide normative benchmarks for how users should update their prior beliefs about a relationship in light of observed data. The findings from Study 2 revealed that one of the visualization conditions with uncertainty communication led to users being slightly more confident about their judgement compared to visualization without uncertainty information. Study 3 builds on findings from Study 2 and explores differences in belief update when the bivariate visualization is congruent or incongruent with users' prior belief. Our results highlight the effects of incorporating uncertainty representation, and the potential of measuring belief updating on correlation judgement with Bayesian cognitive models.

研究の動機と目的

• データ可視化における事前の信念と不確実性表現が、ユーザーの相関判断に与える影響を調査すること。
• 二変量関係に関する主観的信念と不確実性を効果的かつ使いやすい視覚的メソッドで特定するための開発と検証を行うこと。
• ユーザーが視覚化されたデータに応じて信念を合理的に更新するかを評価するための規範的基準として、ベイジアン認知モデリングを適用すること。
• 不確実性可視化が、データが事前の信念と矛盾する場合を含め、信念の更新に与える影響を検討すること。
• 可視化デザインの役割が、ユーザーの相関解釈における自信と正確さにどのように影響するかを理解すること。

提案手法

• 「ライン＋コーン」法を提案：ユーザーが二変量関係に関する事前の信念を表すために、ライン（期待される相関）とコーン（不確実性範囲）を調整する。
• インタラクティブな視覚的誘導を用いて、参加者の主観的確率分布の平均（ライン）と分散（コーン）を捉える。
• 参加者の実際の信念の更新（事後分布）を、3つの規範的ベンチマーク（事前のみ、ベイジアン情報あり、ベイジアン一様）と比較するため、ベイジアン認知モデリングを採用。
• 3つの実験的研究を実施：(1) 誘導法の妥当性の検証、(2) 不確実性可視化あり・なしの状況での信念の更新の比較、(3) データが一致する／不一致する条件での信念の更新のテスト。
• 条件間での平均相関推定値と不確実性（標準偏差）の変化を測定することで、信念の更新ダイナミクスを分析。
• 統計的モデル比較（AIC/BIC）を用いて、観察された事後分布を最もよく説明するベイジアンモデルを特定。

Figure 1: Elicitation methods in Study 1. A: For the Line + Cone elicitation, participants first recorded the belief about the most likely relationship between two variables (red line), then adjusted the set of plausible alternatives based on their uncertainty (gray lines). B: For the MCMC-P elicita

実験結果

リサーチクエスチョン

• RQ1 事前の信念は、二変量可視化における個人の相関判断にどのように影響するか？
• RQ2 データが事前の信念と一致するか矛盾するかにかかわらず、不確実性可視化の有無が信念の更新に与える影響は何か？
• RQ3 相関可視化において、不確実性あり・なしの状況で、ユーザーがベイジアン推論に整合した形で信念を更新する程度はどの程度か？
• RQ4 不確実性の表現（例：コーン対HOPs）は、ユーザーの自信と信念の安定性にどのように影響するか？
• RQ5 可視化の文脈において、事前の信念と新しいデータ証拠のどちらが、事後信念により大きな影響を与えるか？

主な発見

• 「ライン＋コーン」法は、二変量相関に関するユーザーの事前の信念と不確実性を、高い正確性と低い認知的負荷で効果的に捉えることに成功した。
• 不確実性表現を含む可視化は、それなしのものよりも顕著に信念の更新を抑制した。特に、データが事前の信念と矛盾する場合に顕著であった。
• 参加者の事後信念は、ベイジアン一様モデルによって最もよく説明された。これは、新しいデータが、参加者が特定した事前分布よりも強い影響を持つことを示唆している。
• 極端な標本相関を観察した際、ユーザーは不確実性をより小さくした。これは、データ強度に敏感であることを示している。
• 標本サイズが小さい（n=10 vs. n=100）場合でも、ラインのみの条件においても不確実性が増加した。これは、ユーザーが小さなデータセットでは信頼性が低いと直感的に認識していることを示している。
• ベイジアンモデルの予測とは対照的に、参加者はモデルが予測したよりも事後における不確実性を高く感じた。これは、事前の信念の特定に過信が生じているか、コーンの解釈にずれがある可能性を示唆している。

Figure 2: Study 2 Design. Each user goes through ten variable sets (five variables for two rounds) and elicit their belief before and after seeing data visualizations about each variable set. In Round 1, the user views five variable sets through only scatterplots. In Round 2, the user is randomly as