[논문 리뷰] SirenLess: reveal the intention behind news

Xumeng Chen, Leo Yu‐Ho Lo외 1명|arXiv (Cornell University)|2020. 01. 08.

Misinformation and Its Impacts참고 문헌 19인용 수 4

한 줄 요약

SirenLess는 감정, 논의 방식, 주관성, 독해 용이성 등의 언어적 특징을 분석하여 오해의 소지가 있는 뉴스를 탐지하는 상호작용형 시각화 분석 시스템이다. 이 시스템은 메타데이터와 언어적 신호를 통합하여 상호작용 가능한 기사 탐색기로 제공되며, 사용자가 뉴스 기사의 숨겨진 의도를 파악할 수 있도록 돕는다. 사용자 연구를 통해 전문가와 학생 모두가 편향과 유도적 어법을 식별하는 데 효과적임을 확인하였다.

ABSTRACT

News articles tend to be increasingly misleading nowadays, preventing readers from making subjective judgments towards certain events. While some machine learning approaches have been proposed to detect misleading news, most of them are black boxes that provide limited help for humans in decision making. In this paper, we present SirenLess, a visual analytical system for misleading news detection by linguistic features. The system features article explorer, a novel interactive tool that integrates news metadata and linguistic features to reveal semantic structures of news articles and facilitate textual analysis. We use SirenLess to analyze 18 news articles from different sources and summarize some helpful patterns for misleading news detection. A user study with journalism professionals and university students is conducted to confirm the usefulness and effectiveness of our system.

연구 동기 및 목표

• 유도적 뉴스의 증가하는 도전에 대응하기 위해, 조작적 언어를 탐지하기 위한 투명하고 인간이 이해할 수 있는 도구를 제공하는 것.
• 비전문가가 이해하고 활용할 수 있도록 뉴스 기사의 언어적 특징을 해석하고 행동에 옮길 수 있도록 하는 상호작용형 시각화 시스템을 설계하는 것.
• 저널리즘 전문가와 학생들을 대상으로 한 사용자 연구를 통해 시스템의 효과성을 검증하는 것.
• 편향 또는 정서적 조작을 암시하는 반복적인 언어 패턴을 식별하는 것.
• 미디어 리터러시와 가짜 뉴스 탐지 분야의 향후 시각화 분석 도구의 기반을 마련하는 것.

제안 방법

• 시스템은 최신 NLP 기법을 사용하여 감정, 주관성, 논의 방식, 독해 용이성 등의 언어적 특징을 추출한다.
• 이러한 특징들은 상호작용 가능한 기사 탐색기 인터페이스에서 색상, 형태, 위치 등의 시각적 채널로 표현된다.
• 문자 및 주제별 필터링이 가능한 인터페이스로, 정서와 논의 방식 분포를 동적 레이더 차트로 표시한다.
• 문장 수준의 강조 표시와 메타데이터 통합(예: 출처, 주제)을 통해 맥락적 이해를 향상시킨다.
• 동일 주제의 여러 기사를 집계하여 배치 분석을 지원함으로써 비교 평가가 가능하게 한다.
• 사실 확인을 지원하기 위해 위키백과 및 소셜 미디어 댓글과 같은 외부 데이터 소스의 통합을 제안한다.

실험 결과

연구 질문

• RQ1 어떻게 언어적 특징을 효과적으로 시각화하여 뉴스 기사의 숨겨진 의도를 드러낼 수 있는가?
• RQ2 상호작용형 시각화 시스템은 기존 독서 방식보다 사용자가 편향과 조작적 어법을 더 효과적으로 탐지하는 데 도움이 될 수 있는가?
• RQ3 반복적인 언어 패턴은 어떻게 오해의 소지가 있는 뉴스와 사실 기사를 구분하는 데 기여하는가?
• RQ4 비전문가를 포함한 사용자들은 언어적 시각화를 어떻게 인식하고 활용하여 뉴스 신뢰성 평가에 기여하는가?
• RQ5 실제 뉴스 분석 환경에서 시스템의 사용성과 정확도를 향상시키기 위해 어떤 기능 개선이 가능한가?

주요 결과

• 사용자 연구에 참여한 참가자 전원이 시스템이 뉴스 기사의 편향을 식별하는 데 도움이 되었다고 평가했으며, 9명 중 7명이 시스템의 유용성에 대해 강하게 동의했다.
• 참가자 전원이 시스템이 기사 내 특정 엔티티나 사건에 대한 편향을 탐지하는 능력을 향상시켰다고 보고했다.
• 분야 전문가들은 시스템을 저널리즘 교육 및 연구에 통합할 잠재력을 인정했다.
• 시스템은 공감적 미디어와 논리적 조작 이론에 기반한 패턴을 성공적으로 드러냈다.
• 사용자들은 동적 필터링 및 알고리즘에 대한 간단한 설명 기능 등 향상된 상호작용을 요청하여 사용성 향상 여지를 시사했다.
• 연구를 통해 언어적 특징의 시각화가 블랙박스 기계학습 모델보다 더 투명하고 객관적인 뉴스 평가를 지원하는 것으로 확인되었다.