[논문 리뷰] Sarcasm Detection in a Disaster Context

Tiberiu Sosea, Junyi Jessy Li외 1명|arXiv (Cornell University)|2023. 08. 16.

Sentiment Analysis and Opinion MiningComputer Science인용 수 3

한 줄 요약

이 논문은 BERTweet와 같은 사전 훈련된 언어 모델을 사용하여 사자감지 성능을 평가하기 위해 15,000건의 재해 관련 트윗을 사자감지 레이블링한 HurricaneSARC 데이터셋을 소개한다. 또한 불확실성 인식 자가 훈련(Uncertainty-aware Self-Training, UST)을 활용한 준감독 학습이 데이터셋에서 F1 점수 0.70을 달성하며, 전체 레이블링 데이터로 훈련된 모델와 유사한 성능을 유지하면서도 레이블링 비용을 최대 75%까지 감소시킨다.

ABSTRACT

During natural disasters, people often use social media platforms such as Twitter to ask for help, to provide information about the disaster situation, or to express contempt about the unfolding event or public policies and guidelines. This contempt is in some cases expressed as sarcasm or irony. Understanding this form of speech in a disaster-centric context is essential to improving natural language understanding of disaster-related tweets. In this paper, we introduce HurricaneSARC, a dataset of 15,000 tweets annotated for intended sarcasm, and provide a comprehensive investigation of sarcasm detection using pre-trained language models. Our best model is able to obtain as much as 0.70 F1 on our dataset. We also demonstrate that the performance on HurricaneSARC can be improved by leveraging intermediate task transfer learning. We release our data and code at https://github.com/tsosea2/HurricaneSarc.

연구 동기 및 목표

• 허리케인과 같은 재해 맥락에 초점을 맞춘 사자감지 데이터셋의 부족 문제를 해결하기 위해.
• BERTweet와 같은 사전 훈련된 언어 모델이 재해 관련 트윗의 사자감지에 얼마나 효과적인지 평가하기 위해.
• 중간 작업 전이 학습 또는 준감독 학습 기법이 자원이 제한된 재해 맥락에서의 사자감지 성능 향상에 기여할 수 있는지 조사하기 위해.
• 비정규화된 데이터를 활용하여 인간 레이블링 비용을 줄이고, 시간이 급한 재해 상황에서 모델 훈련 속도를 높이기 위해.

제안 방법

• 허리케인 하비, 아이리스, 마리아 기간 동안 수집한 15,000건의 영어 트윗을 커스터마이징된 방식으로 사자감지 여부에 대해 레이블링하였다.
• HurricaneSARC 데이터셋에서 사자감지 성능을 평가하기 위해 BERTweet, CNN, BiLSTM 모델을 백본으로 사용하여 미세조정하였다.
• 사자감지 성능 향상을 위해 감정 및 정서 분석과 같은 관련된 중간 작업 전이 학습 기법을 적용하였다.
• 불확실성 인식 자가 훈련(Uncertainty-aware Self-Training, UST)과 데이터 노이징 기반의 백트랜슬레이션 및 동의어 교체를 활용한 노이즈 학습 기법을 적용하여 비레이블링된 재해 트윗 데이터를 활용하였다.
• UST에서 불확실성 추정을 위해 몬테카를로 드롭아웃을 사용하였으며, 노이즈 학습 기법에서는 지식 정렬 기반의 일반화 성능 향상을 위해 지식 정렬 기법을 적용하였다.
• 각 클래스당 레이블링된 예제를 100개 또는 200개로 제한하고, 전체 감독 학습 기반 모델과의 성능을 비교 평가하였다.

실험 결과

연구 질문

• RQ1 BERTweet와 같은 사전 훈련된 언어 모델은 재해 관련 트윗에서 사자감지를 효과적으로 수행할 수 있는가, 아니면 도메인 이동으로 인해 어려움을 겪는가?
• RQ2 감정 또는 정서 분석과 같은 유사한 중간 작업에서의 전이 학습이 HurricaneSARC 데이터셋에서의 사자감지 성능 향상에 기여하는가?
• RQ3 UST 및 노이즈 학습 기반 준감독 학습 기법이 재해 맥락에서의 사자감지에 있어 인간 레이블링 데이터의 필요성을 크게 줄일 수 있는가?
• RQ4 준감독 기법을 사용해 레이블링 데이터의 25%만으로 훈련했을 때, 전체 감독 학습 대비 모델 성능과 안정성은 어떻게 변화하는가?

주요 결과

• 가장 높은 성능을 보인 모델은 BERTweet 기반의 불확실성 인식 자가 훈련(Uncertainty-aware Self-Training, UST) 모델로, HurricaneSARC 데이터셋에서 F1 점수 0.70을 기록하였다.
• 각 클래스당 레이블링 예제를 200개로 제한했을 때, UST 모델은 전체 감독 학습 기반 BERTweet 모델의 성능과 1% 이내로 유사한 F1 점수를 달성하였으며, 이는 레이블링 데이터가 4배 많았던 모델의 성능에 근접한 것이다.
• 준감독 학습 기법을 통해 레이블링 비용을 최대 75%까지 감소시켰으며, 전체 레이블링 데이터로 훈련된 모델와 유사한 성능을 유지하였다.
• 다양한 랜덤 실행에 따른 F1 점수 변동성이 UST 모델에서 기존 BERTweet 모델보다 유의미하게 낮아, 모델의 안정성이 향상됨을 확인하였다.
• 일반 도메인 사자감지 데이터셋(예: 트위터 또는 레딧)에서의 전이 학습은 성능을 F1 점수 15% 감소시켰으며, 이는 도메인 이동 문제를 잘 보여준다.
• 백트랜슬레이션 및 동의어 교체를 활용한 노이즈 학습 기법은 불확실성 추정과 결합될 경우 모델의 강건성과 일반화 능력을 향상시켰다.