[논문 리뷰] Adapting Security Warnings to Counter Online Disinformation

Ben Kaiser, Jerry Wei외 4명|arXiv (Cornell University)|2020. 08. 25.

Misinformation and Its Impacts참고 문헌 89인용 수 20

한 줄 요약

이 논문은 정보 보안 경고의 원칙을 응용하여 중간 경고(인터스티셜 경고)를 설계하고 평가한다. 중간 경고는 사용자 상호작용이 필요한 팝업 알림으로, 수동적 맥락 경고와는 달리 사용자가 다른 정보 출처를 찾는 경향을 뚜렷이 높인다. 주요 기여는 잘 설계된 중간 경고가 행동을 효과적으로 이끌 수 있음을 입증한 점이지만, 행동 변화의 원인은 정보 기반 의사결정이 아니라 사용자 경험의 번거로움일 수 있음을 시사한다.

ABSTRACT

Disinformation is proliferating on the internet, and platforms are responding by attaching warnings to content. There is little evidence, however, that these warnings help users identify or avoid disinformation. In this work, we adapt methods and results from the information security warning literature in order to design and evaluate effective disinformation warnings. In an initial laboratory study, we used a simulated search task to examine contextual and interstitial disinformation warning designs. We found that users routinely ignore contextual warnings, but users notice interstitial warnings -- and respond by seeking information from alternative sources. We then conducted a follow-on crowdworker study with eight interstitial warning designs. We confirmed a significant impact on user information-seeking behavior, and we found that a warning's design could effectively inform users or convey a risk of harm. We also found, however, that neither user comprehension nor fear of harm moderated behavioral effects. Our work provides evidence that disinformation warnings can -- when designed well -- help users identify and avoid disinformation. We show a path forward for designing effective warnings, and we contribute repeatable methods for evaluating behavioral effects. We also surface a possible dilemma: disinformation warnings might be able to inform users and guide behavior, but the behavioral effects might result from user experience friction, not informed decision making.

연구 동기 및 목표

• 플랫폼에서 경고를 통해 대응하고 있지만 효과에 대한 증거가 제한적인 온라인 허위정보 문제를 해결하기 위해.
• 정보 보안 분야에서 유사 경고가 빈번히 실패한 바가 있음에도 불구하고, 허위정보 경고가 사용자 행동에 의미 있는 영향을 미칠 수 있는지 조사하기 위해.
• 정보 보안 경고 연구에서 입증된 방법(예: 중간 경고 디자인, 철저한 행동 평가)을 허위정보 맥락에 적용하기 위해.
• 경고 효과가 정보의 유용성, 피해의 위험도 인식, 사용자 경험의 번거로움 중 어느 요인에서 기인하는지 평가하기 위해.
• 플랫폼 배포를 안내하기 위해 재현 가능하고 증거 기반의 허위정보 경고 설계 및 테스트 프레임워크를 제공하기 위해.

제안 방법

• 비교적 비중단적인 맥락 경고와 상호작용이 필요한 팝업 형태의 중간 경고를 비교하기 위해, 시뮬레이션된 구글 검색 작업을 기반으로 한 실험실 연구(표본 크기 n=40)를 수행했다.
• 사용자 인식과 행동 선택의 근거를 분석하기 위해 생각을 말하는 방식, 사후 설문 조사, 인덕티브 코드화 기법을 활용했다.
• 8종의 다양한 중간 경고 디자인을 검증하기 위해 후속 커뮤니티워커 연구(표본 크기 n=238)를 수행했으며, 메시지 내용과 위협 수준에 대한 제어된 변형을 적용했다.
• 사용자 정보 탐색 행동의 정량적 지표로 클릭률(CTR)과 다른 출처 검증 비율(AVR)을 측정하여 행동 결과를 분석했다.
• 생태학적 타당성을 확보하고 경고 디자인의 영향을 행동에 고립적으로 분석하기 위해 구조화된 모델과 지침이 있는 작업을 도입했다.
• 정보 보안 연구에서 유용한 정성적 및 정량적 방법을 적용하여 경고 효과를 평가했으며, 사용자 이해도와 위험 인식 지표도 포함했다.

실험 결과

연구 질문

• RQ1 맥락 경고와 중간 경고를 경험한 후 사용자가 다른 정보 출처를 찾는 데 얼마나 자주 행동을 변화시키는가?
• RQ2 왜 일부 사용자는 맥락 경고나 중간 경고를 봤음에도 불구하고 행동을 변화시키지 않는가?
• RQ3 매우 정보가 풍부한 중간 경고는 사용자 행동을 효과적으로 변화시킬 수 있는가?
• RQ4 매우 위협적으로 느껴지는 중간 경고는 사용자 행동을 효과적으로 변화시킬 수 있는가?
• RQ5 정치적 성향은 사용자의 경고 인식이나 행동 반응을 조절하는가?

주요 결과

• 중간 경고는 맥락 경고와 비교해 사용자가 다른 정보 출처를 찾는 행동 변화를 뚜렷이 증가시켰으며, 맥락 경고는 대부분 무시된 것으로 나타났다.
• 커뮤니티워커 연구에서 중간 경고는 더 높은 다른 출처 검증 비율(AVR)을 이끌었으며, 보수파와 자유파를 포함한 다양한 인구 통계군에서 행동 변화가 관찰되었다.
• 사용자 이해도나 피해 위험 인식이 중간 경고의 행동 변화에 영향을 주지 않았으며, 이는 이러한 요소들이 행동 변화의 주요 원인일 수 없다는 것을 시사한다.
• 연구 결과에 따르면 사용자 경험의 번거로움(중간 경고의 간섭성으로 인한)이 행동 변화의 핵심 메커니즘일 수 있으며, 정보 기반 의사결정이 아닌 것으로 추정된다.
• 경고 디자인은 피해 위험을 효과적으로 전달했지만, 이는 강한 행동 결과와 관련이 없었으며, 위험 인식과 행동 사이에 괴리가 있음을 시사한다.
• 정치적 성향이 경고 인식이나 행동 반응에 유의미한 조절 효과를 보이지 않아, 중간 경고가 정치적 정체성에 관계없이 일관된 행동 영향을 미칠 수 있음을 시사한다.