[논문 리뷰] Multi-modal Fusion using Fine-tuned Self-attention and Transfer Learning for Veracity Analysis of Web Information

Priyanka Meel, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|2021. 09. 26.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 텍스트 및 시각적 특징을 미세조정된 BERT/ALBERT 및 Inception-ResNet-v2 모델을 사용하여 조기 융합 및 후기 융합 전략을 적용한 다중모달 진실성 분석 프레임워크를 제안한다. 이는 영어, 중국어, 트윗을 포함한 세 가지 다양한 데이터셋—All Data, Weibo, MediaEval 2016—에서 최신 기술 수준의 성능을 달성하여 전이 학습과 자기주의 주의(self-attention)가 다양한 언어와 모odal에서 가짜 뉴스 탐지에 효과적임을 입증한다.

ABSTRACT

The nuisance of misinformation and fake news has escalated many folds since the advent of online social networks. Human consciousness and decision-making capabilities are negatively influenced by manipulated, fabricated, biased or unverified news posts. Therefore, there is a high demand for designing veracity analysis systems to detect fake information contents in multiple data modalities. In an attempt to find a sophisticated solution to this critical issue, we proposed an architecture to consider both the textual and visual attributes of the data. After the data pre-processing is done, text and image features are extracted from the training data using separate deep learning models. Feature extraction from text is done using BERT and ALBERT language models that leverage the benefits of bidirectional training of transformers using a deep self-attention mechanism. The Inception-ResNet-v2 deep neural network model is employed for image data to perform the task. The proposed framework focused on two independent multi-modal fusion architectures of BERT and Inception-ResNet-v2 as well as ALBERT and Inception-ResNet-v2. Multi-modal fusion of textual and visual branches is extensively experimented and analysed using concatenation of feature vectors and weighted averaging of probabilities named as Early Fusion and Late Fusion respectively. Three publicly available broadly accepted datasets All Data, Weibo and MediaEval 2016 that incorporates English news articles, Chinese news articles, and Tweets correspondingly are used so that our designed framework's outcomes can be properly tested and compared with previous notable work in the domain.

연구 동기 및 목표

• 온라인 소셜 네트워크에서의 오락성 및 가짜 뉴스 증가 문제에 대응하기 위해.
• 다양한 웹 소스에서 온 텍스트 및 시각적 콘텐츠를 처리할 수 있는 강력한 진실성 분석 시스템을 설계하기 위해.
• 다국어 및 다중모달 데이터셋에서 조기 융합 및 후기 융합 전략과 같은 다중모달 융합 전략의 효과를 평가하기 위해.
• 전이 학습 및 자기주의 주의 메커니즘을 활용하여 가짜 뉴스 탐지의 특징 표현을 향상시키기 위해.

제안 방법

• 텍스트 특징는 깊은 자기주의 주의 메커니즘을 활용하여 문맥적 표현을 제공하는 미세조정된 BERT 및 ALBERT 모델을 사용해 추출한다.
• 시각적 특징는 ImageNet에서 사전 훈련된 Inception-ResNet-v2 모델을 사용해 강력한 이미지 표현을 추출한다.
• 조기 융합은 분류 이전에 텍스트 및 이미지 브랜치의 최종 특징 벡터를 연결하여 통합한다.
• 후기 융합은 별도의 텍스트 및 이미지 분류기에서 도출된 예측 확률을 가중 평균을 통해 통합한다.
• 프레임워크는 세 가지 공개 데이터셋—All Data(영어), Weibo(중국어), MediaEval 2016(트윗)—에서 평가되어 다국어 일반화를 확보한다.
• 저자원 및 도메인 특화 데이터에서 성능 향상을 위해 텍스트 및 이미지 인코더에 전이 학습을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 모달에서 조기 및 후기 융합 전략을 사용한 다중모달 융합이 가짜 뉴스 탐지에 얼마나 효과적인가?
• RQ2 딥 컨volution 네트워크에서 유도된 시각적 특징과 함께 미세조정된 BERT 및 ALBERT 모델이 진실성 탐지에 기여하는가?
• RQ3 제안된 프레임워크는 언어와 콘텐츠 유형이 다양한 실제 세계 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ4 웹 콘텐츠에서 오락성을 탐지할 때 텍스트 특징와 시각적 특징의 상대적 기여는 어떠한가?
• RQ5 전이 학습이 저자원 또는 노이즈가 많은 소셜 미디어 데이터에서 다중모달 진실성 분석 시스템의 성능을 향상시키는가?

주요 결과

• 제안된 프레임워크는 All Data, Weibo, MediaEval 2016 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 방법보다 다중모달 가짜 뉴스 탐지에서 뛰어난 성능을 보였다.
• 모든 세 데이터셋에서 예측 확률의 가중 평균을 사용한 후기 융합이 조기 융합보다 일관되게 높은 정확도를 기록했다.
• 미세조정된 BERT 및 ALBERT 모델은 특히 오락성에서 미묘한 언어적 신호를 포착하는 데 있어 텍스트 표현을 크게 향상시켰다.
• Inception-ResNet-v2는 시각적 특징 추출에 있어 강력한 성능을 보여, 텍스트 콘텐츠가 적거나 오락성이 있는 경우에도 효과적인 탐지가 가능했다.
• 전이 학습과 자기주의 주의 메커니즘의 통합은 다양한 언어와 데이터 유형 간 일반화 능력을 향상시켰다.
• 저자원 및 다국어 환경에서도 뛰어난 성능을 보였으며, 특히 중국어 Weibo 데이터셋에서 두각을 나타냈다.