[논문 리뷰] PoxVerifi: An Information Verification System to Combat Monkeypox Misinformation

Akaash Kolluri, Kami Vinton외 1명|arXiv (Cornell University)|2022. 09. 09.

Misinformation and Its Impacts인용 수 5

한 줄 요약

PoxVerifi는 개방형 소스인 Google Chrome 확장 프로그램으로, 실시간으로 기계 학습 분류(96% 교차 검증 정확도), 커뮤니티 기반 투표, 이전에 검증된 유사한 주장과의 비교를 통해 고양이 잔인한 소문을 방지하는 데 기여합니다. 이는 사용자가 웹페이지를 떠나지 않고도 신뢰도를 평가할 수 있는 종합적인 브라우저 내 도구를 제공합니다.

ABSTRACT

Following recent outbreaks, monkeypox-related misinformation continues to rapidly spread online. This negatively impacts response strategies and disproportionately harms LGBTQ+ communities in the short-term, and ultimately undermines the overall effectiveness of public health responses. In an attempt to combat monkeypox-related misinformation, we present PoxVerifi, an open-source, extensible tool that provides a comprehensive approach to assessing the accuracy of monkeypox related claims. Leveraging information from existing fact checking sources and published World Health Organization (WHO) information, we created an open-sourced corpus of 225 rated monkeypox claims. Additionally, we trained an open-sourced BERT-based machine learning model for specifically classifying monkeypox information, which achieved 96% cross-validation accuracy. PoxVerifi is a Google Chrome browser extension designed to empower users to navigate through monkeypox-related misinformation. Specifically, PoxVerifi provides users with a comprehensive toolkit to assess the veracity of headlines on any webpage across the Internet without having to visit an external site. Users can view an automated accuracy review from our trained machine learning model, a user-generated accuracy review based on community-member votes, and have the ability to see similar, vetted, claims. Besides PoxVerifi's comprehensive approach to claim-testing, our platform provides an efficient and accessible method to crowdsource accuracy ratings on monkeypox related-claims, which can be aggregated to create new labeled misinformation datasets.

연구 동기 및 목표

• 공중보건 대응를 약화시키는 고양이 잔인한 소문의 급속한 확산을 방지하기 위한 도구에 대한 긴급한 필요를 해결하기 위해.
• 동성간 관계를 가진 남성들만 고양이 잔인한 소문에 영향을 받는다고 잘못 주장함으로써 LGBTQ+ 공동체에 대한 낙인을 줄이기 위해.
• 사용자가 원본 페이지에서 이탈하지 않고도 신문 기사의 신뢰도를 평가할 수 있도록 접근성이 높은 브라우저 내 검증 시스템을 개발하기 위해.
• 향후 연구 및 도구 개발을 지원하기 위해 공개된, 재사용 가능한 커뮤니티 기반 라벨링 프레임워크를 만들기 위해.
• 자동화된 분류, 커뮤니티 기반 입력, 근거 기반 비교를 통합하여 미디어 리터러시를 향상시키고 히وري스틱 판단에 대한 의존도를 줄이는 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• WHO 및 사실 확인 자료를 활용해 정확도를 평가한 225개의 고양이 잔인한 소문 관련 주장으로 구성된 정제된 코퍼스를 기반으로, BERT 기반의 미세조정된 기계 학습 모델을 구축했습니다.
• 모든 웹페이지에서 실시간으로 머리글을 분석하고, 기계 학습 모델에서 도출된 자동 정확도 점수를 제공하는 Google Chrome 확장 프로그램을 개발했습니다.
• 사용자가 주장의 정확도를 평가할 수 있도록 하는 커뮤니티 기반 투표 시스템을 통합하였으며, 집계된 결과는 투명성과 신뢰도 향상을 위해 표시됩니다.
• 기존에 검증된 유사한 주장과 그 정확도 평가 결과를 표시하여 근거 기반 비교 및 인지 처리를 지원하는 기능을 구현했습니다.
• 시스템이 브라우저 내에서 완전히 작동하도록 설계되어 사용자 불편을 최소화하고 읽기 경험의 중단을 방지했습니다.
• 커뮤니티 기반 라벨를 사용해 향후 확장, 데이터 수집, 모델 재학습이 가능하도록 GitHub에 오픈소스 파이프라인을 구축했습니다.

실험 결과

연구 질문

• RQ1 자동 분류와 커뮤니티 투표를 조합한 브라우저 기반 도구가 고양이 잔인한 소문 탐지 능력 향상에 효과적으로 기여할 수 있는가?
• RQ2 사용자에게 이전에 검증된 유사한 주장들을 보여주는 것이 새로운 주장의 정확도 평가 능력을 어느 정도 향상시키는가?
• RQ3 정확도가 높은 225개의 레이블이 부여된 제한된 데이터셋으로 훈련된 BERT 기반 모델이 고양이 잔인한 소문 관련 주장을 분류하는 데 얼마나 효과적인가?
• RQ4 사용자로부터의 커뮤니티 기반 평가 점수를 신뢰성 있게 집계하여 새로운 고양이 잔인한 소문 주장에 대한 정확한 레이블을 생성할 수 있으며, 이는 향후 모델 개선에 기여할 수 있는가?
• RQ5 오픈소스이고 확장 가능한 프레임워크는 향후 공중보건 긴급 상황에서 건강 소문 탐지 도구 개발의 장벽을 어떻게 낮출 수 있는가?

주요 결과

• BERT 기반 기계 학습 모델은 제한된 훈련 세트에도 불구하고 고양이 잔인한 소문 관련 주장의 진위를 분류하는 데 96%의 교차 검증 정확도를 달성하여 뛰어난 성능을 보였습니다.
• PoxVerifi Chrome 확장 프로그램은 외부 사실 확인 웹사이트로 이동할 필요 없이 실시간 주장 검증을 가능하게 하여 사용성과 사용자 참여도를 향상시켰습니다.
• 자동 예측, 커뮤니티 투표, 검증된 주장과의 비교를 통합한 시스템은 히وري스틱 판단에 대한 의존도를 줄이고 정보 처리를 더 깊이 있게 만듭니다.
• 도구의 오픈소스 성격과 커뮤니티 기반 데이터 수집 메커니즘은 향후 연구를 위한 새로운 레이블이 부여된 소문 데이터셋을 지속적으로 생성하는 데 기여합니다.
• 공중보건 긴급 상황 동안 즉각적이고 접근 가능하며 근거 기반의 검증 도구를 제공함으로써, 소문 확산 위험 완화의 실현 가능성을 입증했습니다.
• 이 프레임워크는 확장 가능하며, 계절성 인플루엔자, 소아 질환, 향후 팬데믹과 같은 다른 건강 소문의 맥락으로도 적용 가능하여 광범위한 공중보건 영향을 미칠 수 있습니다.