[논문 리뷰] CrisisSense-LLM: Instruction Fine-Tuned Large Language Model for Multi-label Social Media Text Classification in Disaster Informatics

Kai Yin, Li, Bo외 3명|arXiv (Cornell University)|2024. 06. 16.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 재난 관련 소셜미디어 콘텐츠의 다중 레이블 분류를 위한 피인상 조정된 대규모 언어 모델인 CrisisSense-LLM를 소개한다. 정제된 재난 트윗 데이터셋을 기반으로 사전 학습된 LLM을 지시에 따라 피인상 조정함으로써, 이 모델은 동시에 여러 측면—예를 들어 사건 유형, 정보성, 지원 참여 여부—를 효과적으로 분류할 수 있으며, 재난 대응 상황에서 상황 인식 능력을 크게 향상시킨다.

ABSTRACT

In the field of crisis/disaster informatics, social media is increasingly being used for improving situational awareness to inform response and relief efforts. Efficient and accurate text classification tools have been a focal area of investigation in crisis informatics. However, current methods mostly rely on single-label text classification models, which fails to capture different insights embedded in dynamic and multifaceted disaster-related social media data. This study introduces a novel approach to disaster text classification by enhancing a pre-trained Large Language Model (LLM) through instruction fine-tuning targeted for multi-label classification of disaster-related tweets. Our methodology involves creating a comprehensive instruction dataset from disaster-related tweets, which is then used to fine-tune an open-source LLM, thereby embedding it with disaster-specific knowledge. This fine-tuned model can classify multiple aspects of disaster-related information simultaneously, such as the type of event, informativeness, and involvement of human aid, significantly improving the utility of social media data for situational awareness in disasters. The results demonstrate that this approach enhances the categorization of critical information from social media posts, thereby facilitating a more effective deployment for situational awareness during emergencies. This research paves the way for more advanced, adaptable, and robust disaster management tools, leveraging the capabilities of LLMs to improve real-time situational awareness and response strategies in disaster scenarios.

연구 동기 및 목표

• 재난 관련 소셜미디어 콘텐츠의 다면적인 특성을 반영하지 못하는 단일 레이블 분류 모델의 한계를 해결한다.
• 소셜미디어 텍스트에서 다수의 재난 관련 레이블을 동시에 분류함으로써 재난 발생 시 상황 인식 능력을 향상시킨다.
• 지시에 따라 피인상 조정을 통해 재난 특화 지식을 통합하는 도메인 전용 LLM을 개발한다.
• 정확한 다면적 분류를 가능하게 함으로써 소셜미디어 데이터의 응급 대응 및 구호 운영 활용도를 향상시킨다.
• 대규모 언어 모델을 활용해 실시간 재난 인포매틱스 응용 프로그램을 위한 확장 가능하고 유연한 프레임워크를 구축한다.

제안 방법

• 다중 레이블(예: 사건 유형, 정보성, 지원 참여 여부)로 주석 처리된 재난 트윗에서 구성된 종합적인 지시 데이터셋을 구축했다.
• 다중 레이블 분류 작업에 맞게 출력을 정렬하기 위해 지시 조정을 통해 오픈소스 대규모 언어 모델을 피인상 조정했다.
• 입력 프롬프트를 구조화하여 모델이 각 트윗 입력에 대해 다중 레이블을 예측하도록 유도하는 프롬프트 엔지니어링 전략을 활용했다.
• 성능 비교를 위해 지시에 따라 피인상 조정되지 않은 모델과의 성능을 비교하기 위해 제로샷 및 희소 프롬프팅 기반 베이스라인을 활용했다.
• 다중 레이블 분류 성능 평가를 위해 표준 평가 지표(예: 마이크로-F1, 마크로-F1)를 적용했다.
• 훈련 데이터에 다양한 재난 상황과 언어적 다양성을 통합함으로써 모델의 강건성과 일반화 능력을 확보했다.

실험 결과

연구 질문

• RQ1 지시에 따라 피인상 조정된 모델이 제로샷 또는 희소 프롬프팅에 비해 재난 관련 소셜미디어 텍스트의 다중 레이블 분류 성능을 유의미하게 향상시킬 수 있는가?
• RQ2 피인상 조정된 LLM이 사건 유형, 정보 품질, 지원 참여 여부와 같은 다수의 재난 관련 측면을 동시에 얼마나 잘 포착할 수 있는가?
• RQ3 지시에 따라 피인상 조정된 LLM의 성능은 전통적인 단일 레이블 분류 모델에 비해 재난 인포매틱스 분야에서 어떻게 다를까?
• RQ4 도메인 특화 지시 조정이 모델이 다양한 재난 맥락으로의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 피인상 조정된 모델이 비정형 소셜미디어 콘텐츠에서 다면적이고 구조화된 통찰을 추출함으로써 실시간 응급 대응 상황 인식에 효과적으로 기여할 수 있는가?

주요 결과

• 지시에 따라 피인상 조정된 CrisisSense-LLM는 마이크로-F1 및 마크로-F1 점수 모두에서 제로샷 및 희소 프롬프팅 기반 베이스라인을 능가하는 뛰어난 성능을 달성했다.
• 지시에 따라 피인상 조정된 모델 덕분에 자연재해와 인위적 위기 등 다양한 재난 유형에 걸쳐 강력한 일반화 능력을 보였다.
• CrisisSense-LLM가 지원하는 다중 레이블 분류 기능은 단일 레이블 모델보다 더 넓은 범위의 실용적 통찰을 소셜미디어 게시물에서 포착할 수 있었다.
• 피인상 조정된 모델은 한 번의 추론 프로세스로 사건 유형, 심각도 지표, 지원 관련 콘텐츠와 같은 핵심 정보를 효과적으로 식별했다.
• 도메인 특화 지시 데이터의 통합은 모델이 미묘한 재난 관련 콘텐츠를 이해하고 분류하는 능력을 크게 향상시켰다.
• 소스 코드와 데이터는 공개되어 있어 재난 인포매틱스 응용 분야의 재현성과 향후 개발을 지원한다.