[논문 리뷰] Disinformation in the Online Information Ecosystem: Detection, Mitigation and Challenges

Amrita Bhattacharjee, Kai Shu외 2명|arXiv (Cornell University)|2020. 10. 18.

Misinformation and Its Impacts참고 문헌 53인용 수 5

한 줄 요약

이 종합 검토는 코로나19 '정보 폭풍' 기간 동안 온라인 소셜 미디어에서의 위성정보에 초점을 맞춰 탐지 및 완화 전략을 분석한다. 이 연구는 계산적 접근과 다학제적 접근을 융합하여 AI 생성 콘텐츠와 에코 챔버 문제와 같은 과제를 강조하며, 오락성 정보를 방지하기 위해 개선된 알고리즘과 미디어 리터러시의 필요성을 제기한다.

ABSTRACT

With the rapid increase in access to internet and the subsequent growth in the population of online social media users, the quality of information posted, disseminated and consumed via these platforms is an issue of growing concern. A large fraction of the common public turn to social media platforms and in general the internet for news and even information regarding highly concerning issues such as COVID-19 symptoms. Given that the online information ecosystem is extremely noisy, fraught with misinformation and disinformation, and often contaminated by malicious agents spreading propaganda, identifying genuine and good quality information from disinformation is a challenging task for humans. In this regard, there is a significant amount of ongoing research in the directions of disinformation detection and mitigation. In this survey, we discuss the online disinformation problem, focusing on the recent 'infodemic' in the wake of the coronavirus pandemic. We then proceed to discuss the inherent challenges in disinformation research, and then elaborate on the computational and interdisciplinary approaches towards mitigation of disinformation, after a short overview of the various directions explored in detection efforts.

연구 동기 및 목표

• 온라인 소셜 미디어에서의 위성정보 확산 증가, 특히 코로나19 패an드레미아 기간을 분석하기 위해.
• 위성정보 탐지 및 완화의 핵심 과제를 특정하기 위해, AI 생성 콘텐츠 및 알고리즘 편향을 포함하여.
• 가짜 정보 확산을 탐지하고 줄이기 위한 계산적 및 다학제적 접근 방법을 평가하기 위해.
• 위성정보에 대응하기 위해 개선된 추천 시스템과 대중의 미디어 리터러시가 얼마나 긴급한지 부각하기 위해.

제안 방법

• 소셜 미디어 생태계에서의 위성정보 탐지 및 완화 기법에 초점을 맞춘 위성정보 연구에 대한 종합적 설문 조사 수행.
• 위성정보 패턴을 식별하기 위한 자연어 처리(NLP), 그래프 신경망 및 언어 모델과 같은 계산적 방법 검토.
• 미디어 리터러시 프로그램과 신뢰 지표(예: Trust Project)를 포함한 다학제적 전략을 분석하여 대중의 저항력을 강화.
• 소셜 미디어 알고리즘이 에코 챔버를 확대시키는 역할을 분석하고 균형 잡힌 콘텐츠 노출을 위한 순위 시스템 재설계 제안.
• 대규모 언어 모델(GPT-2, GPT-3 등)과 딥페이크가 위성정보 캠페인 자동화에 미치는 영향 평가.
• 실제 위성정보 역학을 설명하기 위해 '플랜디믹' 영화와 2,000개의 코로나19 위성정보 사례 연구의 결과를 통합 분석.

실험 결과

연구 질문

• RQ1 코로나19 패안드레미아가 온라인 정보 생태계에서의 위성정보 확산을 얼마나 심화시켰는가?
• RQ2 위성정보를 대규모로 탐지하고 완화하는 데 있어 주요 기술적 및 사회적 과제는 무엇인가?
• RQ3 NLP와 그래프 기반 모델과 같은 계산적 방법이 위성정보 탐지에 어떻게 향상시킬 수 있는가?
• RQ4 특히 미디어 리터러시와 신뢰 지표를 포함한 다학제적 접근 방식이 대중의 위성정보에 대한 저항력을 어떻게 강화할 수 있는가?
• RQ5 고급 언어 모델과 딥페이크가 향후 위성정보 위협과 방어 수단에 어떤 영향을 미칠 수 있는가?

주요 결과

• 세계보건기구는 코로나19 팬데믹을 '정보 폭풍'으로 규정했으며, 이로 인해 수천 개의 위성정보와 음모론이 온라인에서 유통되었다.
• 2019년 스탠포드 연구에서 학생들의 90%가 온라인 자료의 신뢰성을 정확히 평가하지 못함을 확인하여, 위성정보에 대한 광범위한 취약성이 드러났다.
• 기존의 소셜 미디어 추천 알고리즘은 사용자의 사전 신념과 일치하는 콘텐츠를 우선시함으로써 에코 챔버를 강화하는 경향이 있다.
• GPT-2 및 GPT-3와 같은 대규모 언어 모델은 미세 조정을 통해 인간과 구분이 어려울 정도로 설득력 있는 위성정보를 대규모로 생성할 수 있다.
• Trust Project의 8개 신뢰 지표와 DROG와 같은 교육용 게임과 같은 다학제적 이니셔티브가 대중의 인식 향상과 위성정보에 대한 심리적 저항력을 높이는 데 기여한다.
• 다양한 시각을 균형 있게 노출하고 콘텐츠 순위 매기기에서 극단화를 줄이기 위해 알고리즘 재설계가 절실한 필요성이 있다.