[논문 리뷰] Towards Automatic Detection of Misinformation in Online Medical Videos

Rui Hou, Verónica Pérez‐Rosas외 2명|arXiv (Cornell University)|2019. 09. 04.

Misinformation and Its Impacts참고 문헌 30인용 수 9

한 줄 요약

이 논문은 유튜브에서의 전립선암 관련 영상 콘텐츠에 대해 다중모달 기반으로 위성정보를 자동으로 탐지하는 방법을 제안한다. 250개의 수동으로 주석 처리된 영상을 포함하는 새로운 데이터셋을 구축하고, 언어적, 청각적, 사용자 참여도 특징을 결합함으로써, 위성정보 콘텐츠를 분류하는 데 74%의 정확도를 달성하였으며, 이는 다수 클래스 기반 모델보다 유의하게 뛰어난 성능을 보였다.

ABSTRACT

Recent years have witnessed a significant increase in the online sharing of medical information, with videos representing a large fraction of such online sources. Previous studies have however shown that more than half of the health-related videos on platforms such as YouTube contain misleading information and biases. Hence, it is crucial to build computational tools that can help evaluate the quality of these videos so that users can obtain accurate information to help inform their decisions. In this study, we focus on the automatic detection of misinformation in YouTube videos. We select prostate cancer videos as our entry point to tackle this problem. The contribution of this paper is twofold. First, we introduce a new dataset consisting of 250 videos related to prostate cancer manually annotated for misinformation. Second, we explore the use of linguistic, acoustic, and user engagement features for the development of classification models to identify misinformation. Using a series of ablation experiments, we show that we can build automatic models with accuracies of up to 74%, corresponding to a 76.5% precision and 73.2% recall for misinformative instances.

연구 동기 및 목표

• 온라인 의료 영상에서의 위성정보 확산 문제를 해결하기 위해, 특히 유튜브에서의 위성정보가 사용자들을 오도하고 건강 결과에 악영향을 미칠 수 있음을 다루기 위해.
• 의료 전문가의 수동 검토에 의존하는 것에서 벗어나, 의료 영상의 위성정보를 자동으로 탐지할 수 있는 계산 기반 도구를 개발하기 위해.
• 미래 연구를 지원하기 위해, 전립선암 관련 유튜브 영상 250개를 수동으로 주석 처리한 고품질의 새로운 데이터셋을 구축하기 위해.
• 언어적, 청각적, 사용자 참여도 특징이 위성정보 콘텐츠와 신뢰할 수 있는 의료 콘텐츠를 구분하는 데 얼마나 효과적인지 조사하기 위해.
• 단일 모odal 접근 방식보다 다중모달 융합 전략이 위성정보 탐지 정확도를 향상시키는 데 기여하는지 평가하기 위해.

제안 방법

• 다양한 콘텐츠 유형과 발표자 배경을 포함하도록 목표 설정된 검색 쿼리를 통해 유튜브 영상 250개의 데이터셋을 정제하였다.
• 의료 전문가의 수동 주석 처리를 통해 각 영상을 임상적 정확성과 편향 여부에 따라 '신뢰할 만한' 또는 '위성정보가 포함된'으로 분류하였다.
• NLP 기법을 사용해 번역된 영상 콘텐츠에서 어휘적, 문법적, 정서 기반의 특징을 추출하였다.
• 말하기 속도, 음고, 에너지 등의 청각적 특징을 음성 신호에서 추출하여 위성정보와 관련된 발성 특징을 캡처하였다.
• 조회수, 좋아요 수, 댓글 수, 영상 길이 등의 사용자 참여도 특징을 수집하여 청취자 반응 패턴을 분석하였다.
• 초기 융합을 통해 다중모달 신호를 통합하여 분류를 위한 지원벡터기반 머신러닝(SVM)을 개별 및 병합된 특징 세트에 대해 훈련시켰다.

실험 결과

연구 질문

• RQ1 언어적, 청각적, 사용자 참여도 특징을 융합한 다중모달 접근 방식이 온라인 의료 영상에서의 위성정보 탐지에 효과적으로 기여할 수 있는가?
• RQ2 개별 모달(언어적, 청각적, 참여도)이 다중모달 융합 대비 위성정보 탐지 성능에서 얼마나 뛰어나게 작용하는가?
• RQ3 사용자 참여도 메트릭스의 포함이 위성정보 콘텐츠 탐지 정확도를 얼마나 향상시키는가?
• RQ4 제안된 모델의 성능이 위성정보 탐지에서 다수 클래스 기반 모델과 비교해 어떻게 다른가?
• RQ5 애니메이션 영상나 음성 오버 영상와 같은 다양한 위성정보 패턴을 포괄하기 위해 현재의 데이터 수집 및 주석 처리 방법의 한계는 무엇인가?

주요 결과

• 다중모달 모델은 분류 정확도 74%를 달성하였으며, 이는 다수 클래스 기반 모델 대비 오류율 55% 감소를 의미한다.
• 위성정보 영상 탐지에 대해 정밀도 76.5%, 재현율 73.2%를 기록하여 양성 인스턴스에 대한 강력한 성능을 보였다.
• 언어적 특징만으로도 강력한 분류 능력을 보였으며, 정서 어휘와 단순화된 의료 용어와 같은 신호를 포착하였다.
• 청각적 특징은 의미 있는 기여를 하였으며, 높은 음고와 빠른 말하기 속도와 같은 발성 패턴이 위성정보 콘텐츠와 관련이 있었다.
• 조회수 대비 좋아요 비율 등 높은 참여도 특징은 위성정보 콘텐츠와 관련이 있었으며, 이는 조작의 행동적 신호를 시사한다.
• 세 가지 모달 모두를 함께 모델링한 결과 개별 모달 모델보다 뛰어난 성능을 보였으며, 이는 위성정보 탐지에서 다중모달 융합의 유용성을 입증하였다.