[논문 리뷰] An Exploration of Unreliable News Classification in Brazil and The U.S

Maurício Gruppi, Benjamin D. Horne외 1명|arXiv (Cornell University)|2018. 06. 07.

Misinformation and Its Impacts참고 문헌 6인용 수 3

한 줄 요약

이 연구는 브라질과 미국에서 글쓰기 스타일과 언어적 복잡성 특징을 사용하여 신뢰할 수 없는 뉴스를 분류하는 것을 다룬다. 간단함, 문장 길이, 구두점과 관련된 소수의 보편적 특징들이 포르투갈어 및 영어 데이터셋에서 모두 70%의 정확도로 신뢰할 만한 소스와 그렇지 않은 소스를 구분할 수 있음을 보여주며, 이는 오류 탐지에 있어 스타일적 지표의 언어 간 및 문화 간 일반화 가능성을 시사한다.

ABSTRACT

The propagation of unreliable information is on the rise in many places around the world. This expansion is facilitated by the rapid spread of information and anonymity granted by the Internet. The spread of unreliable information is a wellstudied issue and it is associated with negative social impacts. In a previous work, we have identified significant differences in the structure of news articles from reliable and unreliable sources in the US media. Our goal in this work was to explore such differences in the Brazilian media. We found significant features in two data sets: one with Brazilian news in Portuguese and another one with US news in English. Our results show that features related to the writing style were prominent in both data sets and, despite the language difference, some features have a universal behavior, being significant to both US and Brazilian news articles. Finally, we combined both data sets and used the universal features to build a machine learning classifier to predict the source type of a news article as reliable or unreliable.

연구 동기 및 목표

• 브라질(포르투갈어)과 미국(영어) 언론에서 글쓰기 스타일 특징이 신뢰할 만한, 신뢰할 수 없는, 풍자적 뉴스 소스를 어떻게 구분할 수 있는지 조사하기 위해.
• 신뢰할 수 없는 뉴스를 식별하는 특징들이 서로 다른 언어, 문화, 정치적 맥락 간에 보편적인가를 평가하기 위해.
• 두 데이터셋에서 공통되는 특징을 사용하여 통합된 기계학습 분류기를 구축하여 국가 및 언어를 초월해 소스의 신뢰성 예측하기 위해.
• 콘텐츠 기반 특징이 영어 및 단일 국가 맥락을 초월해 일반화 가능성이 얼마나 있는지 평가하기 위해.

제안 방법

• 브라질 뉴스(포르투갈어)와 미국 뉴스(영어)의 신뢰할 만한, 신뢰할 수 없는, 풍자적 소스를 중심으로 두 개의 데이터셋을 수집하고 분석하였다.
• 텍스트 복잡성(예: 단어 길이, 문장 길이), 스타일 특징(예: 구두점, 대문자 사용), 품사 패턴의 세 가지 범주에 걸쳐 총 188개의 언어적 및 스타일적 특징을 추출하였다.
• 각 데이터셋에서 신뢰할 만한, 신뢰할 수 없는, 풍자적 소스 간에 유의미하게 다른 특징을 특정하기 위해 통계적 유의성 검정을 수행하였다.
• 유사한 방향성 추세를 보이는 특징을 식별하기 위해 미국과 브라질 데이터셋 간의 특징 순서 일치도를 측정하기 위해 Kendall-tau 상관계수를 적용하였다.
• 두 데이터셋 모두에서 유의미한 특징의 교집합을 사용하여 기계학습 분류기를 훈련시켜 통합된 데이터셋에서 소스 유형을 예측하였다.
• 테스트 정확도를 사용하여 모델 성능을 평가하였으며, 무작위 추측의 기준은 50%였다.

실험 결과

연구 질문

• RQ1 미국과 브라질 언론에서 글쓰기 스타일만으로도 신뢰할 만한, 신뢰할 수 없는, 풍자적 뉴스 소스를 구분할 수 있는가?
• RQ2 두 나라 모두에서 유의미하게 공통된 언어적 특징이 존재하며, 일관된 방향성 추세를 보이며 보편성을 시사하는가?
• RQ3 한 언어와 문화에서 훈련된 단일 특징 세트가 다른 언어와 문화로의 뉴스 신뢰성 분류에 얼마나 일반화 가능한가?
• RQ4 언어와 문화 간에 소스 유형을 구분하는 데 있어 스타일적 특징과 복잡성 특징은 어떤 정도로 비교 가능한가?

주요 결과

• 브라질 데이터셋은 60개의 유의미한 특징을 사용해 85%의 테스트 정확도를 기록했으며, 이는 50%의 기준보다 유의미하게 높은 성능을 보였다.
• 미국 데이터셋은 49개의 유의미한 특징을 사용해 72%의 테스트 정확도를 기록했으며, 역시 기준을 초월해 언어적 특징의 예측 능력을 확인했다.
• 두 데이터셋에 공통된 18개의 특징만을 사용한 통합 분류기는 70%의 정확도를 달성했으며, 이는 언어와 문화 간 보편적인 특징 존재를 입증했다.
• 텍스트 복잡성과 관련된 특징—예를 들어 전체 길이가 짧고, 문장이 길며, 언어가 단순한 특징—은 두 나라 모두에서 신뢰할 수 없는 소스에서 뚜렷하게 두드러졌다.
• 질문표시, 느낌표, 대문자 사용 증가와 같은 스타일적 특징은 신뢰할 수 없는 소스에서 뚜렷하게 더 자주 발견되었으며, 이는 주목을 끄는 전략을 사용하고 있음을 시사한다.
• 품사 패턴 특징는 두 나라 간에 일관성이 약했으며, 이는 문법적 패턴보다는 복잡성과 스타일적 특징이 분류에 더 보편적으로 신뢰할 수 있음을 나타낸다.