[논문 리뷰] Check square at CheckThat! 2020: Claim Detection in Social Media via Fusion of Transformer and Syntactic Features

Gullal S. Cheema, Sherzod Hakimov외 1명|arXiv (Cornell University)|2020. 01. 01.

Topic Modeling참고 문헌 49인용 수 5

한 줄 요약

이 논문은 소셜 미디어에서 주장 탐지 및 검색을 위한 하이브리드 접근법을 제안하며, BERT 임베딩과 문법적 특징(품사 태깅, 명명된 실체, 의존 구문 분석)을 융합하여 영어 및 아랍어 트윗에서 검증가치 있는 주장 분류를 수행하고, 미세조정된 문장-Transformer 임베딩과 KD-search를 활용하여 검증 가능한 주장 검색을 수행한다. 주요 기여는 두 작업 모두에서 뛰어난 성능을 달성한 것으로, 최고의 모델은 주장 검색에서 MAP@5 0.695를, 검증가치 예측에서 평균 정밀도 0.4949를 기록하였다.

ABSTRACT

In this digital age of news consumption, a news reader has the ability to react, express and share opinions with others in a highly interactive and fast manner. As a consequence, fake news has made its way into our daily life because of very limited capacity to verify news on the Internet by large companies as well as individuals. In this paper, we focus on solving two problems which are part of the fact-checking ecosystem that can help to automate fact-checking of claims in an ever increasing stream of content on social media. For the first problem, claim check-worthiness prediction, we explore the fusion of syntactic features and deep transformer Bidirectional Encoder Representations from Transformers (BERT) embeddings, to classify check-worthiness of a tweet, i.e. whether it includes a claim or not. We conduct a detailed feature analysis and present our best performing models for English and Arabic tweets. For the second problem, claim retrieval, we explore the pre-trained embeddings from a Siamese network transformer model (sentence-transformers) specifically trained for semantic textual similarity, and perform KD-search to retrieve verified claims with respect to a query tweet.

연구 동기 및 목표

• 비즈니스 유포성 가짜 정보의 맥락에서 소셜 미디어 게시물의 검증가치 있는 주장들을 자동으로 식별함으로써 사실 확인을 자동화하는 것.
• 심층적 문맥 특징과 문법적 특징의 융합을 통해 영어 및 아랍어 트윗에서의 주장 탐지 성능을 향상시키는 것.
• 의미적 유사도를 기반으로 주어진 쿼리 트윗에 대해 검증된 주장들을 정확하게 검색할 수 있도록 하는 것.
• 저자원 및 다국어 환경에서 사전 훈련된 및 미세조정된 트랜스포머 모델의 주장 검색 효과성을 평가하는 것.

제안 방법

• BERT-base 및 BERT-large에서 유도된 BERT 임베딩을 품사 태깅, 명명된 실체, 의존 관계와 같은 문법적 특징과 융합하여 주장의 검증가치 예측을 수행한다.
• 영어 및 아랍어 데이터셋 모두에서 차원 감소를 위해 주성분 분석(PCA)을 사용한 서포트 벡터 머신(SVM)을 활용하여 분류를 수행한다.
• 의미적 텍스트 유사도를 위해 미리 훈련된 시아미즈 트랜스포머 모델(sentence-transformers)을 사용하여 밀도 높은 문장 임베딩을 생성하여 주장 검색을 수행한다.
• 의미적 유사도 기반으로 대규모 코퍼스에서 가장 유사한 검증된 주장을 효율적으로 검색하기 위해 K-차원 검색(KD-search)을 적용한다.
• 1,003개의 트윗과 10,373개의 검증된 주장으로 구성된 훈련 세트를 사용하여 삼중체 손실을 기반으로 문장-Transformer 모델을 미세조정하였으며, 검증을 위해 197개를 별도로 확보하였다.
• 미세조정된 단국어 BERT, 다국어 DistilBERT, 오프더스탠드 문장-Transformer 모델 간의 성능을 비교하기 위해 추론 분석(ablation study)를 수행하였다.

실험 결과

연구 질문

• RQ1 다국어 소셜 미디어 콘텐츠에서 문법적 특징과 BERT 기반 문맥 특징의 융합이 검증가치 예측 성능을 향상시킬 수 있는가?
• RQ2 미세조정된 모델과 그대로 사용하는 모델 간에, 다양한 사전 훈련된 트랜스포머 모델(단국어 대비 다국어)이 주장 검색에서 어떻게 성능을 내는가?
• RQ3 DistilBERT와 같은 다국어 모델에서 지식 증류(Knowledge Distillation) 과정이 의미적 텍스트 유사도 작업에서 주장 검색 성능에 해로운지 혹은 유익한지 여부는 무엇인가?
• RQ4 의미 임베딩 기반으로 대규모 코퍼스에서 검증된 주장을 검색하는 데 있어 KD-search가 효과적인가?

주요 결과

• 검증가치 예측에서 가장 우수한 성능을 기록한 모델은 BERT-base를 사용하고 CLS-풀링된 임베딩과 문법적 특징을 융합하여 아랍어 과제에서 평균 정밀도 0.4949를 달성하였다.
• 미세조정하지 않은 다국어 DistilBERT 모델이 미세조정된 단국어 BERT 모델들을 초월하여 주장 검색에서 MAP@5 0.8730의 성능을 기록하였다.
• 다국어 DistilBERT 모델을 미세조정하면 검색 성능이 심각하게 저하되어 MAP@5가 0.532로 떨어졌으며, 이는 지식 증류 과정과 다국어 사전 훈련의 영향으로 보인다.
• KD-search를 제거하고 직접 코사인 유사도를 계산한 결과 성능이 크게 향상되어 최고 성능 런에서 MAP@5가 0.894로 상승하였다. 이는 KD-search가 이 작업에 최적화되어 있지 않을 수 있음을 시사한다.
• 주요 주장 검색 제출 결과는 MAP@5 0.6950을 기록하여, 다중모odal 및 다단계 미세조정 전략을 사용한 다른 팀들보다 뛰어난 성능을 보였다.
• 본 연구는 오프더스탠드 다국어 문장-Transformer 모델이 주장 검색에서 의미적 텍스트 유사도 작업에 매우 효과적임을 입증하였으며, 이는 미세조정된 단국어 BERT 모델들을 뛰어넘는 성능을 기록하였다.