[論文レビュー] Tweets Under the Rubble: Detection of Messages Calling for Help in Earthquake Disaster

Çağrı Toraman, Izzet Emre Kucukkaya+2 more|arXiv (Cornell University)|Feb 26, 2023

Public Relations and Crisis Communication被引用数 9

ひとこと要約

論文は、2023年のトルコ・シリア地震時にTwitterデータを収集し、援助を求めるツイートを分類・抽出・位置特定する対話型ツールを提案し、分類で最大98.30 F1、エンティティタグ付けで84.32 F1を達成した。

ABSTRACT

The importance of social media is again exposed in the recent tragedy of the 2023 Turkey and Syria earthquake. Many victims who were trapped under the rubble called for help by posting messages in Twitter. We present an interactive tool to provide situational awareness for missing and trapped people, and disaster relief for rescue and donation efforts. The system (i) collects tweets, (ii) classifies the ones calling for help, (iii) extracts important entity tags, and (iv) visualizes them in an interactive map screen. Our initial experiments show that the performance in terms of the F1 score is up to 98.30 for tweet classification, and 84.32 for entity extraction. The demonstration, dataset, and other related files can be accessed at https://github.com/avaapm/deprem

研究の動機と目的

• 地震災害時のソーシャルメディア信号を通じた状況認識の動機付け。
• Twitter APIから地震および援助関連キーワードを含む関連ツイートを収集。
• 緊急救助または救援を求めるツイートを識別する分類。
• 援助要求から人物、City、住所、状況の名前付きエンティティタグを抽出。
• 対話型マップ上に結果を可視化し、救助・寄付活動を支援。

提案手法

• 地震発生後最初の12時間で2つのキーワードセットを用いてTwitter API経由でツイートを収集。
• binary tweet分類のためにTF-IDF + SVM、 Turkish BERTurk、 multilingual mDeBERTaを訓練・比較。
• 分類のためにモノリンガルおよびマルチリンガル変換モデルを微調整し、デプロイ用の最良モデルを選択。
• CRFを手作り特徴量とともに適用してエンティティタグ付けを実施（PER、CITY、ADDR、STATUS）し、ConvBERTurkおよびmDeBERTaと比較。
• 住所や都市エンティティを都市リストおよび Damerau–Levenshtein距離で後処理して位置を精練。
• Google Maps APIを介して住所を地理的定位し、Leaflet/Google Maps GUIで結果を可視化。

実験結果

リサーチクエスチョン

• RQ1 地震災害において、トランスフォーマーベースのモデルは緊急援助を求めるツイートをどれだけ効果的に分類できるか？
• RQ2 援助要請を特定し理解するうえで最も信頼できるエンティティタグは何か（人物、都市、住所、状況）？
• RQ3 エンドツーエンドのシステムは緊急通報ツイートを地理的に配置された災害対応行動へマッピングできるか？
• RQ4 提案手法はこの領域の従来のNLPベースラインと比較してどう性能は異なるか？

主な発見

• Transformerベースのモデルはツイート分類においてTF-IDF + SVMを上回り、BERTurkが98.30 F1、mDeBERTaが98.05 F1を達成。
• エンティティタグ付けにおいて、mDeBERTaはADDR、CITY、PER、STATUSの平均F1スコア84.32で最高を記録。
• CRFはTransformerベースのタグ付け器と比較して低性能（平均70.67対84.32）。
• 1kツイートの地理位置推定シミュレーションで、所在地座標を得られたのは407件、ミスは16件（約4%）。
• データ収集段で約1,824,000ツイートを収集し、訓練用に1,000ツイートをアノテーションした。