[논문 리뷰] Different Absorption from the Same Sharing: Sifted Multi-task Learning for Fake News Detection

Lianwei Wu, Yuan Rao외 3명|arXiv (Cornell University)|2019. 09. 04.

Misinformation and Its Impacts참고 문헌 41인용 수 8

한 줄 요약

이 논문은 게이트 및 주의 메커니즘을 사용하여 가짜 뉴스 탐지 및 스탠스 탐지 작업 간에 공유된 특징을 걸러내고 선택적으로 분배하는 선택적 공유 레이어를 갖춘 걸러진 다중 작업 학습 프레임워크를 제안한다. 이 방법은 특징의 관련성 향상과 노이즈 감소를 통해 RumourEval 및 PHEME 데이터셋에서 각각 F1 점수를 0.87%, 1.31% 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, neural networks based on multi-task learning have achieved promising performance on fake news detection, which focus on learning shared features among tasks as complementary features to serve different tasks. However, in most of the existing approaches, the shared features are completely assigned to different tasks without selection, which may lead to some useless and even adverse features integrated into specific tasks. In this paper, we design a sifted multi-task learning method with a selected sharing layer for fake news detection. The selected sharing layer adopts gate mechanism and attention mechanism to filter and select shared feature flows between tasks. Experiments on two public and widely used competition datasets, i.e. RumourEval and PHEME, demonstrate that our proposed method achieves the state-of-the-art performance and boosts the F1-score by more than 0.87%, 1.31%, respectively.

연구 동기 및 목표

• 기존의 다중 작업 학습 모델에서 공유 특징이 걸러지지 않아 관련이 없거나 해로운 정보를 포함할 수 있는 한계를 해결한다.
• 스탠스 탐지와 함께 공동 학습을 통해 상호 보완적인 신뢰성 신호를 활용하여 가짜 뉴스 탐지 성능을 향상시킨다.
• 작업별 관련성에 기반해 스마트하게 걸러내고 집중하는 공유 특징을 필터링하는 선택적 공유 레이어를 설계한다.
• 게이트 및 주의 메커니즘의 시각화를 통해 모델의 해석 가능성과 특징 선택 과정을 향상시킨다.
• 텍스트 및 스탠스 입력에서 장거리 종속성을 잘 포착할 수 있는 트랜스포머 기반 인코딩의 효과를 입증한다.

제안 방법

• 공유 표현 레이어 이후에 선택적 공유 레이어를 도입하며, 이는 게이팅 메커니즘을 갖춘 게이트 공유 셀과 자기주도 주의 메커니즘을 갖춘 주의 공유 셀로 구성된다.
• 각 특징 맵에 대한 이진 게이트 가중치를 학습하여 불필요하거나 노이즈가 있는 공유 특징을 억제하는 데 게이트 공유 셀을 사용한다.
• 목표 작업에 더 유익한 특징에 대해 더 높은 주의 가중치를 동적으로 할당하기 위해 주의 공유 셀을 활용한다.
• 가짜 뉴스 탐지 및 스탠스 탐지 작업 모두의 입력 시퀀스를 인코딩하기 위해 트랜스포머 인코더를 적용하여 장거리 종속성 모델링을 향상시킨다.
• 가짜 뉴스 탐지 및 스탠스 분류 손실을 함께 최적화하는 다중 작업 학습 목표를 사용하여 모델을 종합적으로 훈련한다.
• 주의 시각화 및 게이트 가중치 분석을 통해 다양한 작업 간의 특징 선택 행동을 해석한다.

실험 결과

연구 질문

• RQ1 선택적 공유 메커니즘이 관련이 없거나 해로운 공유 특징을 걸러내어 가짜 뉴스 탐지 성능 향상에 기여할 수 있는가?
• RQ2 선택적 공유 레이어의 게이트 및 주의 메커니즘이 서로 다른 작업에 대해 유용한 특징을 어떻게 구분하는가?
• RQ3 스탠스 탐지 작업을 보조 작업으로 통합함으로써 가짜 뉴스 탐지 성능 향상에 어느 정도 기여하는가?
• RQ4 학습된 주의 가중치와 게이트 값은 공유 표현에서 작업별 특징 중요도를 어떻게 반영하는가?
• RQ5 이러한 다중 작업 설정에서 기존의 RNN 또는 CNN 인코더에 비해 트랜스포머 인코더가 특징 표현 향상에 기여하는가?

주요 결과

• 제안된 걸러진 다중 작업 학습 모델은 RumourEval 및 PHEME 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.
• 이전의 최신 기술 수준 모델 대비 RumourEval에서 F1 점수를 0.87% 향상시키고, PHEME에서는 1.31% 향상시켰다.
• 게이트 공유 셀은 공유 표현에서 'what', 'scary', 'fact'와 같은 불필요한 토큰을 효과적으로 억제한다.
• 주의 공유 셀은 작업별로 특징을 집중적으로 처리한다: 가짜 뉴스 탐지에서는 'live coverage', 스탠스 탐지에서는 'shut down'에 주목한다.
• 시각화 결과는 사전 특징과 걸러진 공유 특징을 조합함으로써 특징의 다양성과 관련성을 향상시키는 선택적 공유 레이어의 효과를 확인한다.
• 트랜스포머 인코더는 장거리 종속성을 더 잘 모델링하고 병렬 처리를 향상시켜 전체 성능 향상에 기여한다.