[논문 리뷰] Anchored in a Data Storm: How Anchoring Bias Can Affect User Strategy, Confidence, and Decisions in Visual Analytics

Ryan Wesslen, Sashank Santhanam외 4명|arXiv (Cornell University)|2018. 06. 07.

Data Visualization and Analytics인용 수 3

한 줄 요약

이 연구는 시각적 앵커와 전략 단서가 시각적 분석 시스템에서 사용자의 의사결정, 자신감, 그리고 트위터 뉴스 가짜정보 식별 성능에 미치는 영향을 조사한다. 94명의 참가자가 참여한 두 차례의 통제된 실험을 통해, 시각적 앵커가 사용자 자신감과 행동에 크게 영향을 주지만 정확도와 속도에선 혼합된 영향을 미친다는 점을 발견하였으며, 의도하지 않은 편향을 방지하기 위해 주의 깊은 훈련 설계가 필요함을 시사한다.

ABSTRACT

Cognitive biases have been shown to lead to faulty decision-making. Recent research has demonstrated that the effect of cognitive biases, anchoring bias in particular, transfers to information visualization and visual analytics. However, it is still unclear how users of visual interfaces can be anchored and the impact of anchoring on user performance and decision-making process. To investigate, we performed two rounds of between-subjects, in-laboratory experiments with 94 participants to analyze the effect of visual anchors and strategy cues in decision-making with a visual analytic system that employs coordinated multiple view design. The decision-making task is identifying misinformation from Twitter news accounts. Participants were randomly assigned one of three treatment groups (including control) in which participant training processes were modified. Our findings reveal that strategy cues and visual anchors (scenario videos) can significantly affect user activity, speed, confidence, and, under certain circumstances, accuracy. We discuss the implications of our experiment results on training users how to use a newly developed visual interface. We call for more careful consideration into how visualization designers and researchers train users to avoid unintentionally anchoring users and thus affecting the end result.

연구 동기 및 목표

• 시각적 분석을 통한 가짜정보 탐지 과정에서 시각적 앵커와 전략 단서가 사용자 행동, 자신감, 의사결정 정확도에 미치는 영향을 조사하기 위해.
• 공동 다중보기(CMV) 시스템에서 탐색적 시각 분석 과정에서 인지 편향, 특히 앵커 효과가 차지하는 역할을 이해하기 위해.
• 다양한 훈련 방법(예: 시나리오 영상, 전략 단서)이 사용자 상호작용 패턴과 성능 지표에 미치는 영향을 평가하기 위해.
• 사용자 상호작용 로그가 앵커 효과에 대한 민감도와 잠재적 전략을 드러내는 데 어떻게 기여할 수 있는지 탐색하기 위해.
• 의도하지 않은 앵커 효과와 그 후속 영향을 방지하기 위해 시각적 분석 도구 사용자 훈련에 최선의 실천 방안을 제안하기 위해.

제안 방법

• 트위터 가짜정보 탐지에 사용되는 시각적 분석 시스템(Verifi)을 사용하여, 94명의 참가자가 참여한 두 차례의 피어슨-형식 이원 실험을 실시함.
• 세 가지 치료 그룹 설계: 대조군(앵커 없음), 전략 단서 그룹(영상으로 안내된 접근 방식), 시각적 앵커 그룹(특정 뷰를 주요 뷰로 강조한 영상).
• 사용자 탐색 경로, 뷰 사용, 작업 소요 시간, 뷰 간 데이터 커버리지 등을 추적하기 위해 상호작용 로그를 수집 및 분석함.
• 결정 후 자기 보고 방식을 통해 사용자 자신감을 측정하고, 뉴스 계정에 대한 기준값 레이블과 비교하여 정확도를 평가함.
• 실제 세계의 인지적 영향을 모방하기 위해 앵커 효과 이론을 실험 설계에 통합함.
• 정량적 분석을 통해 정확도, 속도, 자신감, 뷰 활용도 등의 지표에서 치료 그룹 간 성능을 비교함.

실험 결과

연구 질문

• RQ1 시각적 앵커와 전략 단서는 시각적 분석 작업 중 사용자의 의사결정에 자신감을 어떻게 영향을 미치는가?
• RQ2 시각적 앵커는 공동 다중보기(CMV) 시스템에서 사용자 상호작용 전략과 뷰 선택에 얼마나 영향을 미치는가?
• RQ3 가짜정보 탐지 작업에서 시각적 앵커 효과는 의사결정 정확도와 작업 완료 시간에 어떤 영향을 미치는가?
• RQ4 개인적 차이(예: 경험, 인지 스타일)는 시각적 분석에서 앵커 효과에 대한 민감도에 어떻게 영향을 미치는가?
• RQ5 상호작용 로그 분석을 통해 앵커 효과의 패턴을 드러내고, 시각적 단서에 더 많이 영향을 받는지 덜 영향을 받는지 식별할 수 있는가?

주요 결과

• 시각적 앵커와 전략 단서는 정확도 향상 없이도 사용자 자신감을 크게 증가시켰다.
• 시각적 앵커 그룹에 속한 참가자들은 강조된 뷰(예: 트윗 패널)에 더 오랜 시간 집중하는 경향을 보였으며, 이는 앵커에 대한 강한 의존도를 시사한다.
• 정확도는 앵커 효과로 인해 항상 향상되지 않았으며, 일부 경우에서는 다른 관련 뷰를 무시함으로써 오히려 감소한 경우가 있었다.
• 전략 단서 그룹은 대조군과 시각적 앵커 그룹보다 더 빠른 의사결정과 더 넓은 뷰 커버리지를 보였다.
• 일부 사용자는 치료에 영향을 받지 않아, 이전 경험이나 인지 능력 등의 개인적 특성이 앵커 효과에 대한 민감도를 낮출 수 있음을 시사한다.
• 상호작용 로그 분석을 통해 뚜렷한 전략 패턴을 확인할 수 있었으며, 앵커된 사용자는 고정된 경로를 따르는 반면, 비-앵커된 사용자는 더 유연하게 뷰 간을 탐색하는 경향을 보였다.