[논문 리뷰] Transformer-based Multi-task Learning for Disaster Tweet Categorisation

Wang Cong-cong, Paul Nulty외 1명|arXiv (Cornell University)|2021. 10. 15.

Public Relations and Crisis Communication참고 문헌 35인용 수 6

한 줄 요약

이 논문은 재해 관련 트윗을 정보 유형으로 분류하고 우선순위를 추정하기 위한 트랜스포머 기반 다중 작업 학습 프레임워크를 제안한다. 다양한 BERT 기반 인코더를 사용해 분류 및 우선순위 지정 작업을 동시에 훈련함으로써 TREC Incident Streams 벤치마크에서 최신 기술 성능을 달성하였으며, 모델 앙상블로 인해 성능이 크게 향상되었다.

ABSTRACT

Social media has enabled people to circulate information in a timely fashion, thus motivating people to post messages seeking help during crisis situations. These messages can contribute to the situational awareness of emergency responders, who have a need for them to be categorised according to information types (i.e. the type of aid services the messages are requesting). We introduce a transformer-based multi-task learning (MTL) technique for classifying information types and estimating the priority of these messages. We evaluate the effectiveness of our approach with a variety of metrics by submitting runs to the TREC Incident Streams (IS) track: a research initiative specifically designed for disaster tweet classification and prioritisation. The results demonstrate that our approach achieves competitive performance in most metrics as compared to other participating runs. Subsequently, we find that an ensemble approach combining disparate transformer encoders within our approach helps to improve the overall effectiveness to a significant extent, achieving state-of-the-art performance in almost every metric. We make the code publicly available so that our work can be reproduced and used as a baseline for the community for future work in this domain.

연구 동기 및 목표

• 재해 관련 트윗을 구체적인 정보 유형(예: 지원 필요, 피해 보고 등)으로 분류하여 비상 대응에 활용하는 데 도전 과제를 해결하기 위해.
• 재해 메시지의 긴급성 또는 우선순위를 추정하여 상황 인식 능력을 향상시키기 위해.
• 트랜스포머 아키텍처를 활용해 분류 및 우선순위 지정 작업을 동시에 최적화하는 다중 작업 학습 프레임워크를 개발하기 위해.
• TREC Incident Streams 벤치마크를 통해 모델 성능을 평가하기 위해, 이는 재해 NLP 연구의 표준 기준이다.
• 미래의 위기 인포매틱스 분야 연구를 위한 공개 가능하고 재현 가능한 기준을 제공하기 위해.

제안 방법

• 모델는 공유된 트랜스포머 인코더가 입력 트윗을 처리하여 두 가지 후행 작업인 정보 유형 분류 및 메시지 우선순위 추정을 수행하는 다중 작업 학습 설정을 사용한다.
• 분류 작업을 위한 작업 전용 헤드와 우선순위 점수를 위한 회귀 헤드를 갖춘, 다양한 사전 훈련된 트랜스포머 인코더(예: BERT, RoBERTa)를 특징 추출기로 사용한다.
• 분류 작업에 대한 교차 엔트로피와 우선순위 예측에 대한 평균 제곱오차를 조합한 공동 손실 함수를 사용해 TREC Incident Streams 데이터셋에서 엔드 투 엔드로 모델을 미세조정한다.
• 다양한 트랜스포머 인코더의 예측을 조합하는 앙상블 전략을 통해 정확도와 성능을 향상시킨다.
• 표준 NLP 평가 지표인 F1 점수, 정밀도, 재현율, 평균 평균 정밀도(MAP)를 사용해 최종 모델을 평가한다.
• 재현 가능성을 높이고 커뮤니티 기준 평가를 지원하기 위해 코드와 모델을 공개적으로 배포한다.

실험 결과

연구 질문

• RQ1 공유된 트랜스포머 표현을 활용한 다중 작업 학습 접근법이 재해 트윗의 동시 분류 및 우선순위 지정에 성능 향상을 이끌 수 있는가?
• RQ2 사전 훈련된 트랜스포머 인코더의 선택이 재해 트윗 분류 및 우선순위 추정 성능에 어떤 영향을 미치는가?
• RQ3 여러 트랜스포머 인코더를 앙상블함으로써 이 다중 작업 설정에서 모델의 효과성이 얼마나 향상되는가?
• RQ4 제안된 방법이 TREC Incident Streams 벤치마크에서 기존 시스템 대비 최신 기술 성능을 달성하는가?
• RQ5 이 모델이 향후 위기 NLP 분야 연구를 위한 신뢰할 수 있고 공개 가능한 기준이 될 수 있는가?

주요 결과

• 제안된 다중 작업 학습 프레임워크는 TREC Incident Streams 벤치마크에서 대부분의 평가 지표에서 경쟁력 있는 성능을 달성하였다.
• 여러 트랜스포머 인코더를 앙상블함으로써 성능이 크게 향상되어 F1 및 평균 평균 정밀도를 포함한 거의 모든 지표에서 최신 기술 성능을 기록하였다.
• 분류 및 우선순위 추정 작업을 함께 훈련함으로써 단일 작업 기반 베이스라인 대비 더 나은 일반화 성능을 확보하였다.
• macro-F1 및 MAP와 같은 핵심 지표에서 다른 참가 시스템을 능가하는 성능을 보이며, 강건성과 효과성을 입증하였다.
• 코드와 모델의 공개로 재현 가능성이 보장되었으며, 재해 관련 NLP 분야의 향후 연구를 위한 강력한 기준이 마련되었다.
• 다양한 사전 훈련된 인코더를 활용한 다중 작업 학습이 위기 인포매틱스 응용 분야에서 유망한 접근법임을 확인하였다.