[논문 리뷰] Few-shot tweet detection in emerging disaster events

Anna Kruspe|arXiv (Cornell University)|2019. 10. 05.

Public Relations and Crisis Communication참고 문헌 21인용 수 5

한 줄 요약

이 논문은 소수의 레이블된 예시(10개 이하)만을 사용하여 재난 관련 트윗을 탐지하기 위한 소수 학습 모델—특히 매칭 네트워크, 원형 네트워크, 그리고 새로운 일방향 원형 네트워크—을 제안한다. 일방향 원형 네트워크는 이벤트 대 모든(이벤트-vs.-all) 설정에서 단지 10개의 지원 예시로도 F₁ 스코어 0.9를 달성하며, 현실적인 탐지 작업에서 기존 최고 성능 모델을 능가한다.

ABSTRACT

Social media sources can provide crucial information in crisis situations, but discovering relevant messages is not trivial. Methods have so far focused on universal detection models for all kinds of crises or for certain crisis types (e.g. floods). Event-specific models could implement a more focused search area, but collecting data and training new models for a crisis that is already in progress is costly and may take too much time for a prompt response. As a compromise, manually collecting a small amount of example messages is feasible. Few-shot models can generalize to unseen classes with such a small handful of examples, and do not need be trained anew for each event. We compare how few-shot approaches (matching networks and prototypical networks) perform for this task. Since this is essentially a one-class problem, we also demonstrate how a modified one-class version of prototypical models can be used for this application.

연구 동기 및 목표

• 최소한의 레이블된 데이터를 요구하는 신속한 위기 상황에서 이벤트 특화 재난 관련 트윗 탐지의 과제를 해결한다.
• 대규모 사전 레이블링된 데이터셋이 필요로 하는 일반적인 재난 탐지 모델의 한계를 극복한다.
• 소수의 예시 트윗(소수 학습)만을 활용하여 새로운, 알려지지 않은 재난 이벤트를 탐지할 수 있는 시스템을 개발한다.
• 두 가지 현실적인 시나리오인 이벤트 대 이벤트 및 이벤트 대 모든 트윗 분류에서 소수 학습 모델의 성능을 평가한다.
• 소수 데이터 재난 탐지에서 일종의 분류를 위한 일방향 원형 네트워크의 효과성을 조사한다.

제안 방법

• 소수 학습 프레임워크인 매칭 네트워크, 원형 네트워크, 그리고 일종의 분류를 위한 수정된 일방향 원형 네트워크를 활용한다.
• 매칭 네트워크에서 쌍둥이 신경망(Siamese 또는 twin neural networks)을 사용하여 쿼리 트윗과 지원 예시 간의 코사인 유사도를 통해 비교한다.
• 원형 네트워크는 지원 예시의 평균 임베딩을 클래스 프로토타입으로 계산하고, 쿼리 트윗을 유클리드 거리 기반으로 분류한다.
• 일방향 원형 네트워크에서는 음성 클래스를 원점에 고정시켜 음성 지원 예시가 없더라도 일종의 분류 학습이 가능하도록 한다.
• CrisisLexT26 및 CrisisNLP 데이터셋에서 모델을 훈련하고, 1~10개의 예시를 가진 이벤트 특화 지원 세트에서 미세조정한다.
• 이벤트 대 이벤트(중복 주제) 및 이벤트 대 모든(구분된 음성 클래스) 두 구성에서 F₁ 스코어를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 1~10개의 레이블된 예시만으로도 소수 학습 모델이 이벤트 특화 재난 트윗 탐지에서 얼마나 잘 작동하는가?
• RQ2 주제가 중복되는 이벤트 대 이벤트 분류 설정에서 매칭 네트워크와 원형 네트워크의 성능를 비교하면 어떻게 되는가?
• RQ3 음성 지원 예시가 필요 없이도 일방향 원형 네트워크가 소수 트윗 탐지에서 일종의 분류를 효과적으로 처리할 수 있는가?
• RQ4 실제 세계 조건을 더 잘 반영하는 이벤트 대 모든 설정이 이벤트 대 이벤트 설정보다 더 높은 F₁ 스코어를 제공하는가?
• RQ5 제안된 소수 접근 방식이 최소한의 레이블된 데이터로 기존 최고 성능 모델을 능가할 수 있는가?

주요 결과

• 이벤트 대 이벤트 설정에서는 주제 유사성으로 인해 클래스 프로토타입이 중첩되면서 원형 네트워크의 성능이 매칭 네트워크보다 열등하다.
• 더 현실적인 이벤트 대 모든 설정에서는 원형 네트워크가 단지 10개의 지원 예시로도 F₁ 스코어 0.9를 달성하며, 이 작업에서 기존 최고 성능 모델을 뛰어넘는다.
• 일방향 원형 네트워크는 매우 적은 예시(1~3개)로도 강력한 성능을 유지하며, 음성 예시가 명시적으로 제공되지 않아도 된다.
• 매칭 네트워크는 음성 트윗의 분포가 넓기 때문에 이벤트 대 모든 설정에서 일반화 성능이 떨어지며, 최근접 이웃 분류가 효과적이지 않다.
• 3개 이상의 지원 예시를 가질 경우, 양방향 원형 네트워크가 일방향 버전보다 성능이 뛰어나며, 음성 중심점의 삼각측정이 성능 향상에 기여함을 시사한다.
• 결과적으로 수작업으로 선별한 고품질의 예시는 평가에서 사용된 무작위 샘플링을 초월해 성능 향상에 기여할 수 있다.