[論文レビュー] Global Flood Prediction: a Multimodal Machine Learning Approach

Cynthia Zeng, Dimitris Bertsimas|arXiv (Cornell University)|Jan 29, 2023

Flood Risk Assessment and Management被引用数 6

ひとこと要約

本稿では、1〜5年先のグローバル洪水リスクを予測するために、歴史的洪水データ（表形式）とWikipediaからのテキストベースの地理的記述を統合するマルチモーダル機械学習フレームワークを提案する。地理的テキストから文脈的な埋め込みを抽出するためにDistilBERTを用いたトランスファー学習を実施し、75%〜77%のROCAUCを達成。単一モダリティモデルやベースラインモデルを上回る性能を示し、長期的災害予測においてテキストベースの地理的文脈統合の価値を裏付けた。

ABSTRACT

Flooding is one of the most destructive and costly natural disasters, and climate changes would further increase risks globally. This work presents a novel multimodal machine learning approach for multi-year global flood risk prediction, combining geographical information and historical natural disaster dataset. Our multimodal framework employs state-of-the-art processing techniques to extract embeddings from each data modality, including text-based geographical data and tabular-based time-series data. Experiments demonstrate that a multimodal approach, that is combining text and statistical data, outperforms a single-modality approach. Our most advanced architecture, employing embeddings extracted using transfer learning upon DistilBert model, achieves 75\%-77\% ROCAUC score in predicting the next 1-5 year flooding event in historically flooded locations. This work demonstrates the potentials of using machine learning for long-term planning in natural disaster management.

研究の動機と目的

• 短期的な物理モデルを超える、グローバルかつ多年にわたる洪水リスク予測システムの開発。
• テキストベースの地理的記述を統合することで、長期的洪水予測の精度が向上するかの調査。
• 統計的データとテキストデータを統合するマルチモーダル学習の有効性を、単一モダリティアプローチと比較して評価すること。
• 本フレームワークが野火や干ばつなどの他の自然災害に対しても一般化可能であるかの検証。
• 長期的災害対策およびインfra構築計画に役立つスケーラブルでデータ駆動型のツールの提供。

提案手法

• 本フレームワークは、GDISおよびEM-DATデータセットからの時系列表形式データと、Wikipediaからのテキストベースの地理的記述という2つのデータモダリティを処理する。
• 地理的テキストはWikipedia-APIを用いて抽出され、場所名のバリエーションを解消するための同義語マッチングが実施される。
• テキスト埋め込みはDistilBERTを用いて生成され、3つのバリアントを採用：(1) 元の固定モデル、(2) 洪水頻度で微調整されたモデル、(3) 32次元のプロジェクションヘッドを用いたトランスファー学習。
• 統計的特徴量には、洪水回数、被害額、年といった24の変数が含まれ、災害タイプはワンホットエンコーディングで表現される。
• マルチモーダル予測は、統計的特徴量とテキスト埋め込みを、フィードフォワードニューラルネットワークにおけるエアリー融合により統合する。
• モデル学習は二値分類を用い、過去に2回以上の洪水が発生した場所を正例ラベルとする。評価は、サンプル外ROCAUC、正解率、F1スコア、バランス正解率を用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 テキストベースの地理的記述を統合することで、従来の統計モデルを上回る長期的グローバル洪水リスク予測が可能になるか？
• RQ2 表形式データとテキストデータを統合するマルチモーダル機械学習アプローチは、1〜5年先の洪水リスク予測において、単一モダリティモデルと比べてどのように優れているか？
• RQ3 事前学習済み言語モデル（例：DistilBERT）を洪水関連の地理的テキストに微調整またはトランスファー学習することで、洪水予測性能が向上するか？
• RQ4 テキスト的文脈を含めることで、現在のリスクが継続すると仮定する決定論的ベースラインと比較して、予測誤差はどの程度低減されるか？
• RQ5 本フレームワークは、干ばつや野火などの他の自然災害タイプに対しても一般化可能か？

主な発見

• トランスファー学習を用いたDistilBERTを活用するマルチモーダルモデルは、1〜5年先の洪水リスク予測で75%〜77%のROCAUCを達成。単一モダリティモデルを著しく上回った。
• 最も優れた性能を示したマルチモーダルアーキテクチャは、ベースラインモデルと比較してROCAUCで42ポイント、バランス正解率で25ポイント向上した。
• 統計データのみを用いた単一モダリティモデルも、ベースラインをROCAUCで35ポイント上回った。これは、歴史的データ自体に inherently 高い予測力があることを示唆している。
• 事前学習済みDistilBERTを微調整するか、直接使用しても、単一モダリティベースラインを上回る性能は得られなかった。これは、タスク固有の適応を伴うトランスファー学習の必要性を強調している。
• 本フレームワークは他の災害タイプに対しても良好な一般化性能を示しており、長期的自然災害予測分野への広範な応用可能性を示唆している。