[논문 리뷰] Independent Component Analysis for Trustworthy Cyberspace during High Impact Events: An Application to Covid-19

Zois Boukouvalas, Christine Mallinson외 6명|arXiv (Cornell University)|2020. 06. 30.

Anomaly Detection Techniques and Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 고영향 사건 기간 동안 소셜 미디어에서 위기 정보 및 지식 탐색을 위한 데이터 기반 독립성분분석(ICA) 프레임워크를 제안한다. 이를 위해 전문가가 레이블링한 새로운 코로나19 트위터 데이터셋을 적용하였다. 이 방법은 트윗의 단어 수를 기반으로 해석 가능한 언어적 특징을 추출하여 신뢰할 만한 콘텐츠와 신뢰할 수 없는 콘텐츠를 효과적으로 분류하며, 음모론이나 정서적 언어와 같은 위기 정보 특성과 관련된 의미적 패턴을 드러낸다.

ABSTRACT

Social media has become an important communication channel during high impact events, such as the COVID-19 pandemic. As misinformation in social media can rapidly spread, creating social unrest, curtailing the spread of misinformation during such events is a significant data challenge. While recent solutions that are based on machine learning have shown promise for the detection of misinformation, most widely used methods include approaches that rely on either handcrafted features that cannot be optimal for all scenarios, or those that are based on deep learning where the interpretation of the prediction results is not directly accessible. In this work, we propose a data-driven solution that is based on the ICA model, such that knowledge discovery and detection of misinformation are achieved jointly. To demonstrate the effectiveness of our method and compare its performance with deep learning methods, we developed a labeled COVID-19 Twitter dataset based on socio-linguistic criteria.

연구 동기 및 목표

• 코로나19 팬데믹과 같은 고영향 사건 기간 동안 소셜 미디어에서 위기 정보를 탐지하는 과제를 해결하기 위해.
• 수작업 특징과 투명하지 않은 딥러닝 모델의 한계를 극복하기 위해 데이터 기반이며 해석 가능한 접근법을 개발하기 위해.
• 잠재 변수 모델링을 통해 위기 정보 탐지와 지식 탐색을 동시에 달성하기 위해.
• 사회언어학적 기준을 사용하여 레이블링된 새로운 전문가-검증 코로나19 트위터 데이터셋을 구축하고 배포하여 재현 가능한 연구를 가능하게 하기 위해.

제안 방법

• 트윗 분류 문제를 ICA 모델 X = AS를 사용하여 망각된 소스 분리 문제로 공식화한다. 여기서 X는 단어 수 행렬, A는 혼합 행렬, S는 소스 신호 행렬이다.
• d > N일 경우 차원 감소를 위해 PCA를 적용하여 특징 공간을 축소함으로써 ICA 문제의 잘 정의된 성격을 확보한다.
• 최대한 독립적인 소스 성분을 복원하기 위해 탈혼합 행렬 W를 추정하고, y(v) = Wx(v)로 표현되는 독립된 성분을 산출한다. 이는 잠재적인 언어적 특징을 나타낸다.
• 결과적으로 도출된 독립 성분을 사용하여 이진 분류기의 훈련을 위한 저차원이고 해석 가능한 특징으로 활용한다. 이는 신뢰할 만한 트윗과 신뢰할 수 없는 트윗을 구분하는 데 사용된다.
• 각 추정된 소스 성분의 상위 가중치를 가진 단어를 분석하여 의미적 내용을 해석함으로써 지식 탐색을 수행한다.
• 전문가 및 사회언어학적 기준을 기반으로 1,000개의 코로나19 관련 트위터 트윗으로 구성된 레이블링 데이터셋을 구축한다. 이에는 정서적 언어, 음모론, 잘못된 건강 조언 등의 특징이 포함된다.

실험 결과

연구 질문

• RQ1 ICA 기반 특징 추출이 코로나19 팬데믹 기간 동안 신뢰할 만한 트윗과 신뢰할 수 없는 트윗을 효과적으로 구분할 수 있는가?
• RQ2 ICA에서 유도된 해석 가능한 언어적 성분은 정서적 언어나 음모론과 같은 위기 정보의 알려진 특성과 어떻게 관련이 있는가?
• RQ3 딥러닝 기반 최첨단 모델과 비교했을 때, 데이터 기반이며 딥러닝이 아닌 방법이 위기 정보 탐지에서 경쟁적인 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 사회언어학적 기준을 체계적으로 적용하여 위기 정보 연구를 위한 신뢰할 수 있는 전문가 레이블링 데이터셋을 어떻게 구축할 수 있는가?
• RQ5 독립 성분의 의미적 내용을 분석함으로써 위기 정보의 확산에 대한 어떤 통찰을 얻을 수 있는가?

주요 결과

• ICA 기반 방법은 딥러닝 아키텍처 없이도 단어 수 특징만으로도 효과적인 분류 성능를 보이며, 신뢰할 만한 트윗과 신뢰할 수 없는 트윗을 효과적으로 분류하였다.
• 추출된 독립 성분은 명확한 의미적 클러스터를 드러냈다: 특징 1은 올림픽 취소와 관련이 있었고, 특징 5는 뉴욕의 확진자 수와 긴급선언과 관련이 있었다. 나머지 특징들은 특정한 위기 정보 유형과 관련이 있었다.
• 신뢰할 수 없는 콘텐츠와 관련된 특징들은 정치적 편향(특징 5), 정서적 언어(특징 4), 잘못된 건강 조언(특징 3)과 같은 위기 정보의 알려진 언어적 지표와 강하게 일치하였다.
• 혼합 행렬에서 높은 가중치를 가진 단어들을 통해 '피르브리지 연구소' 음모론이나 '빌 게이츠 특허' 루머와 같은 핵심 위기 정보 내러티브를 성공적으로 식별하고 국지화하였다.
• 사회언어학적 기준을 사용하여 구축한 레이블링된 데이터셋은 향후 연구를 위한 신뢰할 수 있는 기준이 되며, 위기 정보 탐지 시스템의 재현 가능한 평가를 가능하게 한다.
• ICA 성분의 해석 가능성 덕분에 분석가들은 특정 언어 패턴이 위기 정보와 어떻게 연관되는지 추적할 수 있으며, 위기 커뮤니케이션에서 설명 가능한 인공지능을 지원한다.