[논문 리뷰] Vulnerable to Misinformation? Verifi!

Alireza Karduni, Isaac Cho외 6명|arXiv (Cornell University)|2018. 07. 25.

Misinformation and Its Impacts참고 문헌 52인용 수 8

한 줄 요약

Verifi2는 뉴스 소스의 언어적, 네트워크적, 이미지적 특성을 분석함으로써 소셜 미디어에서 위조 정보를 탐지하는 데 도움을 주는 시각적 분석 시스템이다. 이 시스템은 실제 계정과 의심스러운 계정 간의 상호작용적 비교를 가능하게 하여 전문가가 정보를 바탕으로 한 설계와 사용자 피드백을 통해 교육 및 인식 향상에 기여한다.

ABSTRACT

We present Verifi2, a visual analytic system to support the investigation of misinformation on social media. On the one hand, social media platforms empower individuals and organizations by democratizing the sharing of information. On the other hand, even well-informed and experienced social media users are vulnerable to misinformation. To address the issue, various models and studies have emerged from multiple disciplines to detect and understand the effects of misinformation. However, there is still a lack of intuitive and accessible tools that help social media users distinguish misinformation from verified news. In this paper, we present Verifi2, a visual analytic system that uses state-of-the-art computational methods to highlight salient features from text, social network, and images. By exploring news on a source level through multiple coordinated views in Verifi2, users can interact with the complex dimensions that characterize misinformation and contrast how real and suspicious news outlets differ on these dimensions. To evaluate Verifi2, we conduct interviews with experts in digital media, journalism, education, psychology, and computing who study misinformation. Our interviews show promising potential for Verifi2 to serve as an educational tool on misinformation. Furthermore, our interview results highlight the complexity of the problem of combating misinformation and call for more work from the visualization community.

연구 동기 및 목표

• 비판적 평가 능력이 부족한 젊은 디지털 네이티브 사용자들이 겪는 위조 정보 문제의 증가 추세에 대응한다.
• 실제와 의심스러운 뉴스 소스를 구분하는 데 복잡한 요소들을 이해할 수 있도록 접근하기 쉬운 상호작용 기반 도구를 개발한다.
• 컴퓨터 과학, 심리학, 미디어 리터러시 분야의 통합적 접근를 통해 위조 정보 퇴치에 기여한다.
• 교육자와 연구자가 실제 세계의 데이터와 시각적 탐색을 통해 미디어 리터러시를 가르치고 위조 정보의 동적 특성을 연구할 수 있도록 시스템을 제공한다.
• 텍스트, 네트워크, 이미지 차원에서의 진실성 지표를 시각화하여 대중의 위조 정보에 대한 인식과 저항력을 향상시킨다.

제안 방법

• 최신 기술 기반의 자연어 처리(NLP) 및 계산 방법을 활용하여 뉴스 콘텐츠에서 감성, 정서, 언어 스타일 등의 언어적 특징을 추출한다.
• 뉴스 계정 간 직접적 상호작용과 주제 유사성을 동시에 표시하는 새로운 소셜 네트워크 시각화 기법을 구축한다.
• 이미지 특징과 실체 언급을 분석하여 위조 또는 진정성 있는 뉴스 소스에서 흔히 나타나는 패턴을 탐지한다.
• 이전의 위조 정보 탐지 연구(예: Volkova 등, 2017) 및 인지 편향 연구(예: Wineburg 등, 2016)의 결과를 통합된 인터페이스에 통합한다.
• 언어 사용, 사회적 네트워크 구조, 이미지 콘텐츠, 실체 언급 등의 다중 차원에서 실제 대비 의심스러운 뉴스 계정 간의 상호작용적 비교를 지원한다.
• 미디어, 심리학, 교육 분야의 전문가로부터의 사용자 피드백을 통합하여 교육적 응용을 위한 설계 개선 및 사용성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 시각적 분석은 뉴스 소스의 언어적, 네트워크적, 이미지적 특성을 분석함으로써 사용자가 위조 정보를 식별하는 데 어떻게 기여할 수 있는가?
• RQ2 실제 계정과 의심스러운 계정을 구분하는 데 사용자가 효과적으로 작동할 수 있도록 지원하는 데 가장 적합한 시각적 분석 시스템의 설계 요소는 무엇인가?
• RQ3 이러한 시스템은 온라인 정보에 대한 미디어 리터러시와 비판적 사고 능력 교육을 위해 어떻게 교육적 용도로 적응시킬 수 있는가?
• RQ4 언어, 네트워크 행동, 이미지 사용 측면에서 실제 뉴스 매체와 의심스러운 매체를 구분하는 데 핵심적인 특징들은 무엇인가?
• RQ5 다양한 분야의 전문가 피드백은 더 효과적이고 신뢰할 수 있는 위조 정보 탐지 도구 개발에 어떻게 기여할 수 있는가?

주요 결과

• Verifi2는 실제와 의심스러운 뉴스 소스를 구분하는 데 도움이 되는 언어적, 네트워크적, 이미지적 특징을 다중 차원에서 성공적으로 시각화하여 사용자의 깊은 이해를 지원한다.
• 교육, 심리학, 커뮤니케이션 분야의 전문가들이 Verifi2가 미디어 리터러시 및 온라인 콘텐츠 비판적 평가 교육에 효과적인 교육 도구로 기여할 잠재력을 인정했다.
• 인터뷰 결과, 실제 대비 의심스러운 것이라는 이원적 분류를 넘어 신뢰성의 스펙트럼으로의 전환 필요성이 뚜렷하게 드러났으며, 이는 사용자 애너테이션의 가치를 시사한다.
• 전문가들은 인터페이스를 단순화하고, 사용자가 시스템이 제공하는 증거를 바탕으로 스스로 신뢰도를 평가할 수 있도록 하는 것이 사용자 참여도와 신뢰도 향상에 기여할 것이라고 권고했다.
• 이 시스템은 뉴스 소스 수준과 문서 수준에서의 상호작용적 탐색을 지원하여 사용자가 신뢰성의 다양한 차원에서 행동을 대조할 수 있도록 한다.
• 인간 애너테이션과 VIL(시각적 상호작용식 레이블링)과 같은 실시간 피드백 메커니즘이 정확성 유지와 장기적 적응 가능성 확보를 위해 필수적임이 확인되었다.