[論文レビュー] CrisisSense-LLM: Instruction Fine-Tuned Large Language Model for Multi-label Social Media Text Classification in Disaster Informatics

Kai Yin, Li, Bo+3 more|arXiv (Cornell University)|Jun 16, 2024

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本論文では、自然災害関連のソーシャルメディアコンテンツのマルチラベル分類を目的としたファインチューニング済み大規模言語モデル、CrisisSense-LLM を紹介する。訓練済みの大規模言語モデルを、自然災害ツイートの収集データセット上で指示ファインチューニングすることで、イベントタイプ、情報の有用性、支援活動の関与など、複数の側面を同時に効果的に分類することができ、被災時における状況認識の向上が著しく図られる。

ABSTRACT

In the field of crisis/disaster informatics, social media is increasingly being used for improving situational awareness to inform response and relief efforts. Efficient and accurate text classification tools have been a focal area of investigation in crisis informatics. However, current methods mostly rely on single-label text classification models, which fails to capture different insights embedded in dynamic and multifaceted disaster-related social media data. This study introduces a novel approach to disaster text classification by enhancing a pre-trained Large Language Model (LLM) through instruction fine-tuning targeted for multi-label classification of disaster-related tweets. Our methodology involves creating a comprehensive instruction dataset from disaster-related tweets, which is then used to fine-tune an open-source LLM, thereby embedding it with disaster-specific knowledge. This fine-tuned model can classify multiple aspects of disaster-related information simultaneously, such as the type of event, informativeness, and involvement of human aid, significantly improving the utility of social media data for situational awareness in disasters. The results demonstrate that this approach enhances the categorization of critical information from social media posts, thereby facilitating a more effective deployment for situational awareness during emergencies. This research paves the way for more advanced, adaptable, and robust disaster management tools, leveraging the capabilities of LLMs to improve real-time situational awareness and response strategies in disaster scenarios.

研究の動機と目的

• 自然災害関連のソーシャルメディアコンテンツの多面的性質を捉えることができない単一ラベル分類モデルの限界を解消すること。
• ソーシャルメディアテキストから複数の被災関連ラベルを同時に分類することで、災害発生時における状況認識を向上させること。
• 指示ファインチューニングを通じて被災関連の知識を統合するドメイン特化型大規模言語モデルの開発。
• 正確なマルチアスペクト分類を可能にすることで、緊急対応および救援作業におけるソーシャルメディアデータの有用性を高めること。
• 大規模言語モデルを用いたリアルタイム被災インフォマティクス応用のスケーラブルで柔軟なフレームワークの構築。

提案手法

• 複数のラベル（例：イベントタイプ、情報の有用性、支援活動の関与）を付与された自然災害ツイートから、包括的な指示データセットを構築した。
• マルチラベル分類タスクに適合するように、入力出力を調整するための指示ファインチューニングを用いて、オープンソースの大規模言語モデルをファインチューニングした。
• 1つの入力ツイートに対して複数のラベルを予測できるよう、モデルの出力を導くように設計されたプロンプト設計戦略を採用した。
• 性能比較のため、ゼロショットおよびフェイントショットプロンプティングベースラインを用いた。
• マルチラベル分類性能の評価に、標準的な評価指標（例：マイクロ-F1、マクロ-F1）を適用した。
• 訓練データに多様な被災シナリオと言語的変異を組み込むことで、モデルの頑健性と一般化能力を確保した。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットまたはフェイントショットプロンプティングと比較して、指示ファインチューニングが自然災害関連ソーシャルメディアテキストのマルチラベル分類性能を著しく向上させることができるか？
• RQ2 ファインチューニング済み大規模言語モデルが、イベントタイプ、情報品質、支援活動の関与など、複数の被災関連側面を同時にどれだけ的確に捉えることができるか？
• RQ3 指示ファインチューニング済み大規模言語モデルの性能は、被災インフォマティクス分野における従来の単一ラベル分類モデルと比べてどのように異なるか？
• RQ4 ドメイン特化型の指示ファインチューニングが、多様な被災状況におけるモデルの一般化能力に与える影響は何か？
• RQ5 ファインチューニング済みモデルが、非構造的ソーシャルメディアコンテンツから構造的でマルチフェーストなインサイトを抽出することで、緊急対応におけるリアルタイムの状況認識を効果的に支援できるか？

主な発見

• 指示ファインチューニング済みの CrisisSense-LLM は、マイクロ-F1 およびマクロ-F1 スコアの両面でゼロショットおよびフェイントショットベースラインを上回る優れた性能を達成した。
• 指示ファインチューニングによる適応のおかげで、自然災害および人為的危機を含む多様な被災タイプにわたって、優れた一般化性能を示した。
• CrisisSense-LLM によるマルチラベル分類は、単一ラベルモデルと比較して、ソーシャルメディア投稿からより広範な行動可能なインサイトを抽出できた。
• ファインチューニング済みモデルは、1回の推論プロセスで、イベントタイプ、深刻度の指標、支援関連コンテンツといった重要な情報を効果的に同定した。
• ドメイン特化型の指示データの統合により、モデルの被災関連コンテンツのニュアンスを理解し、分類する能力が著しく向上した。
• ソースコードとデータは公開されており、被災インフォマティクス分野における再現性とさらなる開発を支援する。