[논문 리뷰] SemEval-2020 Task 11: Detection of Propaganda Techniques in News Articles

Giovanni Da San Martino, Alberto Barrón‐Cedeño외 3명|arXiv (Cornell University)|2020. 09. 06.

Misinformation and Its Impacts참고 문헌 69인용 수 23

한 줄 요약

이 논문은 뉴스 기사 내에서 세분화된 선전 기법을 탐지하는 공유 과제인 SemEval-2020 Task 11을 제시한다. 이 과제는 두 가지 하위 과제로 구성된다: 스팸 식별(선전 조각의 위치 특정) 및 기법 분류(각 조각에 대해 14개의 선전 기법 중 하나 할당). 최고의 시스템들은 사전 훈련된 트랜스포머와 앙상블을 사용하여 뛰어난 성능을 달성했으며, 특히 스팸 식별에서는 뛰어난 성능를 보였지만, 데이터 희소성과 미묘한 언어적 신호로 인해 기법 분류 과제는 여전히 도전 과제로 남아 있다.

ABSTRACT

We present the results and the main findings of SemEval-2020 Task 11 on Detection of Propaganda Techniques in News Articles. The task featured two subtasks. Subtask SI is about Span Identification: given a plain-text document, spot the specific text fragments containing propaganda. Subtask TC is about Technique Classification: given a specific text fragment, in the context of a full document, determine the propaganda technique it uses, choosing from an inventory of 14 possible propaganda techniques. The task attracted a large number of participants: 250 teams signed up to participate and 44 made a submission on the test set. In this paper, we present the task, analyze the results, and discuss the system submissions and the methods they used. For both subtasks, the best systems used pre-trained Transformers and ensembles.

연구 동기 및 목표

• 뉴스 기사 내에서 선전 기법을 문서 수준 분류를 넘어서 세분화된 탐지가 가능하도록 하기 위해.
• 선전 기법이 사용된 특정 텍스트 스팸을 식별하는 데 도전하는 것, 이는 굵은 그림 기반 방법보다 정밀도를 향상시키기 위함이다.
• 식별된 각 스팸 내에 적용된 특정 선전 기법을 분류함으로써, 설득 전략에 대한 깊이 있는 분석을 지원하기 위해.
• 연구자들이 자동 선전 탐지 기술을 발전시킬 수 있도록 표준화된 벤치마크와 데이터셋을 제공하기 위해.
• 자동화된 시스템에만 의존하지 않고도 사용자가 조작적인 언어를 인식할 수 있도록 도와주는 도구를 개발함으로써 선전에 대한 인식을 높이기 위해.

제안 방법

• 과제는 두 가지 하위 과제로 구성되었다: 하위 과제 SI(스팸 식별)는 텍스트 내 선전 조각을 특정하기 위해 이진 시퀀스 태깅 문제로 설정되었다.
• 하위 과제 TC(기법 분류)는 문서 맥락을 사용하여 식별된 스팸을 14개의 사전 정의된 선전 기법 중 하나로 다중 분류해야 했다.
• 참가자들은 주로 BERT와 RoBERTa와 같은 사전 훈련된 트랜스포머 아키텍처를 사용한 최신 딥 러닝 모델을 사용했으며, 주어진 코퍼스에 대해 미세 조정했다.
• 앙상블 방법이 널리 사용되었으며, 여러 모델의 예측을 조합하여 정확도와 견고성을 향상시켰다.
• 데이터셋은 외부 검증이 필요로 하지 않는 14개의 내재적으로 식별 가능한 선전 기법 목록을 바탕으로 구성되었다.
• 평가에는 표준 NLP 메트릭이 사용되었으며, 두 하위 과제 모두 F1 점수를 사용했고, 일관성과 신뢰성을 확보하기 위해 엄격한 태깅 지침을 적용했다.

실험 결과

연구 질문

• RQ1 사전 훈련된 트랜스포머 모델은 뉴스 기사 내에서 세분화된 선전 스팸을 식별하는 데 얼마나 효과적인가?
• RQ2 맥락 기반 표현과 앙상블 학습을 사용할 경우, 선전 기법의 다중 분류 성능는 어느 정도 향상될 수 있는가?
• RQ3 학습 데이터에 미묘하거나 맥락 의존적이거나 희소하게 나타나는 선전 기법을 분류할 때의 주요 과제는 무엇인가?
• RQ4 스팸 탐지와 기법 분류로 구성된 두 단계 과제로 분리하는 것이, 통합 탐지 대비 전체 성능에 어떤 영향을 미치는가?
• RQ5 자동화된 선전 탐지 시스템을 배포할 경우의 윤리적 함의는 무엇인가, 특히 잘못된 경고와 사용자 신뢰에 대해 어떻게 고려해야 하는가?

주요 결과

• 하위 과제 SI(스팸 식별)에서 가장 뛰어난 성능을 보인 시스템들은 베이스라인 대비 뚜렷한 향상을 보였으며, 현대 NLP 모델을 사용한 세분화된 스팸 식별이 가능함을 시사한다.
• 하위 과제 TC(기법 분류)는 상당히 더 어려웠으며, 일부 팀은 베이스라인을 넘어서지 못했으며, 유사하거나 미묘한 선전 기법을 구분하는 데의 과제를 드러냈다.
• 하위 과제 SI에서 가장 높은 F1 점수는 BERT 기반 아키텍처와 앙상블 기법을 사용한 모델에서 달성되었으며, 맥락 기반 임bedding의 효과를 입증했다.
• 하위 과제 TC에서는 가장 뛰어난 성능을 보인 시스템들도 사전 훈련된 트랜스포머와 앙상블에 의존했지만, 성능은 여전히 제한되어 있었으며, 특히 빈도가 낮은 기법에 대해 더욱 그러했다.
• 이 과제는 총 250개의 팀이 참가했으며, 테스트 세트에 결과를 제출한 팀은 44개로, 세분화된 선전 탐지에 대한 높은 연구 관심을 보였다.
• 저자들은 자동화된 시스템을 절대적 진리 탐지기로 사용해서는 안 되며, 사용자가 독립적으로 선전을 인식할 수 있도록 돕는 교육적 도구로 활용해야 한다고 경고한다.