[논문 리뷰] All-in-one: Multi-task Learning for Rumour Verification

Elena Kochkina, Maria Liakata외 1명|arXiv (Cornell University)|2018. 06. 10.

Misinformation and Its Impacts참고 문헌 32인용 수 102

한 줄 요약

본 논문은 veracity 분류를 보조 과제로 함께 학습하는 다중 과제 학습 프레임워크를 제안하여 RumourEval 및 PHEME 데이터셋에서 루머 검증 성능을 향상시키고, 다중 과제 이익에 영향을 주는 데이터 속성을 분석한다.

ABSTRACT

Automatic resolution of rumours is a challenging task that can be broken down into smaller components that make up a pipeline, including rumour detection, rumour tracking and stance classification, leading to the final outcome of determining the veracity of a rumour. In previous work, these steps in the process of rumour verification have been developed as separate components where the output of one feeds into the next. We propose a multi-task learning approach that allows joint training of the main and auxiliary tasks, improving the performance of rumour verification. We examine the connection between the dataset properties and the outcomes of the multi-task learning models used.

연구 동기 및 목표

• 루머 해결을 veracity가 주 과제이고 보조 과제가 성능을 향상시킬 수 있는 다중 과제 학습 문제로 동기 부여하고 형식화한다.
• veracity를 stance 및/또는 detection과 함께 공동 학습하는 것이 검증 정확도 및 macro-F 점수에 어떤 영향을 미치는지 조사한다.
• 데이터셋 속성(엔트로피, 첨도, 토큰 유형 비율)이 다중 과제 학습 이익과 어떤 관련이 있는지 평가한다.
• 강력한 기준선(최신 연구의 veracity 분류기 및 다수결 기반 기준선)을 포함하여 다중 과제 모델을 비교한다.
• RumourEval 및 leave-one-event-out 방식으로 PHEME의 서로 다른 이벤트 분할에 따른 모델 성능에 미치는 영향을 탐구한다.

제안 방법

• 루머를 트윗 가지(branch)로 모델링하기 위한 순차적 분기 기반 LSTM 아키텍처를 사용한다.
• veracity, stance, detection에 대한 작업별 출력층으로 다중 과제 설정에서의 하드 파라미터 공유를 사용한다.
• 주어진 인스턴스에서 라벨이 없는 작업의 손실은 제외하고 작업 손실을 합친 결합 손실로 학습한다.
• 불균형 데이터의 주 지표를 macro-F로 삼고 정확도로 평가하며, PHEME에 대해 leave-one-event-out 교차 검증을 수행한다.

실험 결과

연구 질문

• RQ1 다중 과제 학습이 veracity를 stance 및/또는 detection과 결합했을 때 단일 과제 학습보다 veracity 분류를 향상시키는가?
• RQ2 어떤 보조 과제 구성(stance, detection, 또는 두 가지 모두)이 가장 좋은 veracity 성능을 제공하는가?
• RQ3 데이터셋 속성이 루머 검증에서 다중 과제 학습의 효과에 어떤 영향을 미치는가?
• RQ4 RumourEval에서의 성능과 PHEME의 서로 다른 이벤트 분할(5 대 9 이벤트) 간의 차이는 어떠한가?

주요 결과

• 다중 과제 모델은 PHEME 및 RumourEval 데이터셋에서 단일 과제 버시티(classifier) 대비 일관되게 성능을 향상시킨다.
• 세 가지 과제 설정(veracity, stance, detection)이 단일 과제 베이스라인 대비 가장 큰 향상을 가져왔다.
• MTL2(Veracity+Stance 또는 Veracity+Detection)가 단일 과제 branchLSTM보다 우수하며, MTL3(세 가지 과제 모두)가 추가 이득을 제공한다.
• 엔트로피, 첨도 등 데이터셋 속성이 다중 과제 이점에 영향을 준다는 것이 이전 연구와 일치하며, 특히 보조 과제가 주 과제보다 더 낮은 첨도를 가질 때 이러한 이점이 두드러진다.
• RumourEval에서 다중 과제 학습은 NileTMRG* 및 branchLSTM 기준선을 상회하며; PHEME에서는 MTL3가 테스트 구성 중 가장 높은 전반적 macro-F 및 정확도를 달성한다.
• PHEME에서 이벤트에 따라 성능 차이가 있으며, Ferguson 이벤트는 특히 도전적이고 진리/거짓/검증되지 않음에 대한 클래스별 예측에서 차이가 관찰된다.