[논문 리뷰] Using Deep Networks and Transfer Learning to Address Disinformation

Numa Dhamani, Paul Azunre외 5명|arXiv (Cornell University)|2019. 05. 24.

Misinformation and Its Impacts참고 문헌 23인용 수 10

한 줄 요약

이 논문은 저자원 환경에서 레이블이 부여된 데이터로부터 일반화할 수 있도록 전이 학습을 활용하여 다양한 소셜 미디어 작업에서 위성 정보를 탐지하기 위한 문자 수준의 CNN-LSTM 앙상블 모델을 제안한다. 모델은 정치적 정서 분류에서 88.10%의 테스트 정확도를 기록했으며, 유해 콘텐츠 식별에서는 100%의 정확도를 달성했다. 스팸, 리뷰 폭탄, 대화 클러스터링 작업에서도 텍스트 입력만으로 뛰어난 성능을 보였다.

ABSTRACT

We apply an ensemble pipeline composed of a character-level convolutional neural network (CNN) and a long short-term memory (LSTM) as a general tool for addressing a range of disinformation problems. We also demonstrate the ability to use this architecture to transfer knowledge from labeled data in one domain to related (supervised and unsupervised) tasks. Character-level neural networks and transfer learning are particularly valuable tools in the disinformation space because of the messy nature of social media, lack of labeled data, and the multi-channel tactics of influence campaigns. We demonstrate their effectiveness in several tasks relevant for detecting disinformation: spam emails, review bombing, political sentiment, and conversation clustering.

연구 동기 및 목표

• 다양한 온라인 커뮤니케이션 플랫폼에서 위성 정보를 탐지하기 위한 일반 목적의 텍스트 전용 프레임워크를 개발하기 위해.
• 레이블이 부족한 상황과 노이즈가 많은 소셜 미디어 텍스트 문제를 해결하기 위해 문자 수준의 딥 러닝 모델을 사용하기 위해.
• 한 도메인의 레이블이 부여된 데이터로부터 전이 학습을 통해 관련된 위성 정보 탐지 작업의 성능을 향상시키기 위해 최소한의 추가 레이블링을 요구하기 위해.
• 클러스터링 및 트렌드 탐지와 같은 탐색적 분석을 지원하기 위해 학습된 의미적 표현을 제공하기 위해.
• 플랫폼 전용 메타데이터나 네트워크 기능에 의존하지 않는 강건하고 이식 가능한 위성 정보 탐지 솔루션을 만들기 위해.

제안 방법

• 모델은 원시 텍스트에서 직접 표현을 학습하기 위해 문자 수준의 합성곱 신경망(CNN)을 사용하여 철자 실수, 슬랭, 이모티콘과 같은 요소를 고정 어휘 없이 캐치한다.
• 장기 기억 순환 신경망(LSTM)은 CNN가 학습한 특징을 처리하여 텍스트 내의 순차적 의존성을 모델링한다.
• 앙상블 모델은 광범위한 레이블이 부여된 데이터셋에서 사전 훈련하여 자연어의 일반적이고 이식 가능한 표현을 학습한다.
• 전이 학습은 스팸 탐지, 정서 분류, 대화 클러스터링과 같은 최종 작업에서 사전 훈련된 모델을 미세 조정하여 적용된다.
• t-SNE 시각화를 통해 클러스터링 및 논의 패턴의 해석 가능성 분석을 위한 학습된 잠재 공간을 분석한다.
• 프레임워크는 메타데이터나 네트워크 구조에 의존하지 않으며, 텍스트 입력만으로 작동하여 다중 플랫폼 배포가 가능하다.

실험 결과

연구 질문

• RQ1 문자 수준의 딥 러닝 모델이 텍스트 입력만으로 다양한 소셜 미디어 작업에서 위성 정보를 효과적으로 분류할 수 있는가?
• RQ2 일반 목적의 사전 훈련된 모델에서의 전이 학습이 저자원 위성 정보 탐지 작업의 성능을 얼마나 향상시키는가?
• RQ3 학습된 의미적 표현이 대화 클러스터링 및 언어 트렌드 탐지와 같은 탐색적 분석에 얼마나 기여하는가?
• RQ4 철자 실수나 이모티콘과 같은 비표준 언어가 존재하는 상황에서 모델은 유해 콘텐츠 탐지에 얼마나 잘 성능을 내는가?
• RQ5 메타데이터나 네트워크 기능에 의존하지 않고도 정치적 논의의 정서 분류에서 높은 정확도를 달성할 수 있는가?

주요 결과

• 정치적 정서 분류에서 이진 테스트 정확도는 88.10%를 기록했으며, 부정/유해 콘텐츠 식별에서는 100%의 정확도를 달성했다.
• 0.5 확률 임계값에서 유해 콘텐츠 탐지의 정밀도, 재현율, F1 점수는 각각 0.68, 0.98, 0.81이었다.
• 학습된 특징의 t-SNE 시각화는 스팸 및 비스팸 이메일을 성공적으로 분리했으며, Enron(비스팸) 클래스에서는 더 높은 변동성이 관찰되었다.
• 전이 학습에서 강력한 일반화 성능을 보였으며, 리뷰 폭탄 및 대화 클러스터링과 같은 레이블이 부족한 작업에서도 잘 작동했다.
• 문자 수준의 접근 방식은 어휘 수준의 토크나이제이션 없이도 철자 실수와 이모티콘을 포함한 비표준어 표현을 효과적으로 캐치했다.
• 하이퍼파라미터 튜닝을 수행하지 않았으며, 이는 최적화를 통해 성능 향상이 가능함을 시사한다.