[논문 리뷰] Transferring Knowledge Distillation for Multilingual Social Event Detection

Jiaqian Ren, Hao Peng외 7명|arXiv (Cornell University)|2021. 08. 06.

Topic Modeling참고 문헌 55인용 수 8

한 줄 요약

이 논문은 다국어 그래프 신경망(GNN) 프레임워크를 제안하며, 다국어 데이터 스트림에서 사회적 사건을 탐지하기 위해 다국어 단어 임베딩을 활용한다. 이는 새로운 다국어 지식 정착 기법(CLKD)을 통해 영어에서 저자원 언어로 지식을 전달함으로써 저자원 언어에서도 효과적인 탐지가 가능하게 하여, 합성 및 실제 데이터셋 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

Recently published graph neural networks (GNNs) show promising performance at social event detection tasks. However, most studies are oriented toward monolingual data in languages with abundant training samples. This has left the more common multilingual settings and lesser-spoken languages relatively unexplored. Thus, we present a GNN that incorporates cross-lingual word embeddings for detecting events in multilingual data streams. The first exploit is to make the GNN work with multilingual data. For this, we outline a construction strategy that aligns messages in different languages at both the node and semantic levels. Relationships between messages are established by merging entities that are the same but are referred to in different languages. Non-English message representations are converted into English semantic space via the cross-lingual word embeddings. The resulting message graph is then uniformly encoded by a GNN model. In special cases where a lesser-spoken language needs to be detected, a novel cross-lingual knowledge distillation framework, called CLKD, exploits prior knowledge learned from similar threads in English to make up for the paucity of annotated data. Experiments on both synthetic and real-world datasets show the framework to be highly effective at detection in both multilingual data and in languages where training samples are scarce.

연구 동기 및 목표

• 대부분의 기존 GNN 모델이 고자원 단일 언어 환경에 국한되어 있음에도 불구하고, 다국어 및 저자원 언어에서의 사회적 사건 탐지에 대한 격차를 해소한다.
• 다국어 메시지 스트림에서 다국어 메시지를 노드 수준과 의미 수준에서 모두 정렬함으로써, 다국어 메시지 임베딩을 사용하여 효과적인 사건 탐지 기반을 마련한다.
• 영어 기반의 사건 탐지에서의 사전 지식을 활용하여 저자원 언어의 데이터 부족 문제를 해결하기 위해 새로운 다국어 지식 정착 프레임워크(CLKD)를 도입한다.
• 다국어 실체와 의미를 하나의 GNN 학습 가능한 표현 공간에 통합하는 통합 메시지 그래프 인코딩 전략을 개발한다.

제안 방법

• 노드가 메시지를 나타내고 엣지가 실체 간의 관계를 나타내는 메시지 그래프를 구축하며, 언어 간 실체를 정렬한다.
• 다국어 단어 임베딩을 사용하여 비영어 메시지 표현을 공통의 영어 의미 공간으로 투영함으로써 의미 수준의 정렬을 가능하게 한다.
• 통합된 다국어 메시지 그래프를 균일하게 인코딩하기 위해 GNN 모델을 적용하여 언어 간의 관계적 및 맥락적 패턴을 포착한다.
• 사전에 훈련된 영어 GNN에서 타겟 저자원 언어 모델로 지식을 전달하는 다국어 지식 정착(CLKD) 프레임워크를 설계한다.
• 제한된 레이블이 있는 데이터를 바탕으로 영어 모델에서 유도된 소프트 레이블을 사용하여 저자원 모델을 훈련함으로써 성능을 향상시킨다.
• 다국어 임베딩을 사용하여 동일한 실체를 매핑함으로써 언어 간에 노드 수준의 표현을 정렬하여 일관된 의미 이해를 보장한다.

실험 결과

연구 질문

• RQ1 노드 수준과 의미 수준에서 메시지를 다국어 간에 정렬함으로써, GNN 기반 프레임워크가 다국어 데이터 스트림에서 사회적 사건을 효과적으로 탐지할 수 있는가?
• RQ2 다국어 단어 임베딩의 통합은 단일 언어 기반 대비 다국어 사건 탐지 성능을 어떻게 향상시키는가?
• RQ3 고자원 영어 데이터에서의 지식 정착은 제한된 레이블 예제가 있는 저자원 언어에서 사건 탐지 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 다국어 소셜 미디어 스트림에서의 언어 변형과 실체의 모호성에 대해 얼마나 강건한가?

주요 결과

• 제안된 프레임워크는 합성 및 실제 다국어 데이터셋 모두에서 뛰어난 성능을 보이며, 다양한 언어 조합 간의 효과성을 입증한다.
• 다국어 단어 임베딩의 사용은 서로 다른 언어의 메시지 간에 의미적으로 유의미한 정렬을 가능하게 하여 메시지 그래프의 일관성을 향상시킨다.
• CLKD 프레임워크는 영어에서 사전 훈련된 지식을 활용하여 저자원 언어에서의 탐지 정확도를 크게 향상시켜 데이터 부족 문제를 보완한다.
• 다국어 메시지 그래프 인코딩을 적용한 GNN 모델은 다국어 사건 탐지 작업에서 단일 언어 기반 대비 뛰어난 성능을 보인다.
• 제한된 훈련 데이터가 있는 언어에서조차도 프레임워크가 높은 성능을 유지함으로써, 다국어 지식 정착의 가치를 확인한다.