[論文レビュー] Coordinating Disaster Emergency Response with Heuristic Reinforcement Learning

Long Nguyen, Zhou Yang+3 more|arXiv (Cornell University)|Nov 12, 2018

Evacuation and Crowd Dynamics参考文献 32被引用数 14

ひとこと要約

本稿では、ソーシャルメディアデータを活用して災害時におけるボランティアの展開を調整するためのヒューリスティックなマルチエージェント強化学習アルゴリズム、ResQを提案する。ヒューリスティック関数によって状態行動空間を削減することで、学習を高速化し、救援応答時間、報酬率、コスト効率の面で最先端の手法を上回る。実験では、37.9%の報酬率と5.0タイムステップの応答速度を達成した。

ABSTRACT

A crucial and time-sensitive task when any disaster occurs is to rescue victims and distribute resources to the right groups and locations. This task is challenging in populated urban areas, due to the huge burst of help requests generated in a very short period. To improve the efficiency of the emergency response in the immediate aftermath of a disaster, we propose a heuristic multi-agent reinforcement learning scheduling algorithm, named as ResQ, which can effectively schedule the rapid deployment of volunteers to rescue victims in dynamic settings. The core concept is to quickly identify victims and volunteers from social network data and then schedule rescue parties with an adaptive learning algorithm. This framework performs two key functions: 1) identify trapped victims and rescue volunteers, and 2) optimize the volunteers' rescue strategy in a complex time-sensitive environment. The proposed ResQ algorithm can speed up the training processes through a heuristic function which reduces the state-action space by identifying the set of particular actions over others. Experimental results showed that the proposed heuristic multi-agent reinforcement learning based scheduling outperforms several state-of-art methods, in terms of both reward rate and response times.

研究の動機と目的

• ソーシャルネットワークからの限られた、かつ急速に変化するデータを用いて、リアルタイムでの被災者支援の調整に取り組む。
• 動的でデータが乏しい災害環境において、従来の教師あり学習や収束が遅い適応モデルの限界を克服する。
• 不確実性や需要の急増に直面しても、被災者とボランティアを効率的にマッチングできるスケーラブルで適応可能なスケジューリングシステムを開発する。
• リアルタイムのソーシャルメディア信号を活用して被災者およびボランティアの検出を実施し、時間的に敏感な緊急事態におけるリソース配分を最適化する。
• 標準の強化学習やベースラインヒューリスティクスよりも高速に収束し、高いパフォーマンスを達成する、災害対応タスクに特化した強化学習フレームワークを設計する。

提案手法

• 自然言語処理および情報抽出技術を用いて、位置情報が付加されたソーシャルメディアのツイートから被災者およびボランティアの位置を抽出する。
• 空間的・時間的データをマルチエージェント強化学習に適した離散グリッドベースの環境に変換する。
• 高い影響を持つ救助行動を優先することで、報酬関数を用いて行動空間を縮小し、状態行動の複雑さを低減するヒューリスティック関数を実装する。
• ボランティアが強化学習で学習した方策に基づいて行動する集中型通信モデルを採用し、被災者に到達した場合に報酬を与え、グリッド外に出た場合にはペナルティを与える。
• 経験再生とターゲットネットワークを用いた値ベースの深層強化学習アプローチにより、ResQアルゴリズムを学習させる。
• 探索フェーズにルールベースのヒューリスティクスを統合し、収束を加速させつつ、被災者およびボランティアの位置の変化に柔軟に対応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックなマルチエージェント強化学習は、時間的に敏感な災害対応シナリオにおいて、ボランティアの展開を効果的に調整できるか？
• RQ2 本稿で提案するヒューリスティック関数は、動的でデータが乏しい環境において、標準の強化学習と比較して、学習効率とパフォーマンスをどのように向上させるか？
• RQ3 グリーディーサーチ、価値反復、ランダムウォークといった従来の手法と比較して、ResQは応答時間および救助成功確率の面でどの程度優れているか？
• RQ4 ソーシャルメディアデータは、大規模な災害対応システムに向けた、信頼性のあるリアルタイム入力に変換可能か？
• RQ5 ヒューリスティックなガイダンスは、緊急対応を目的としたマルチエージェント強化学習における収束速度と最終的パフォーマンスにどのような影響を与えるか？

主な発見

• ResQは、同じ実験で次に優れた手法（強化学習：31.85%）を大きく上回る37.9%の最高報酬率を達成した。
• ResQは平均5.0タイムステップで救助タスクを完了し、他のすべての手法と比較して最も速かった。標準の強化学習は5.4タイムステップを要した。
• ResQは24エピソード以内に安定したパフォーマンスに収束した。標準の強化学習が収束するまでに要した208エピソードと比較し、学習速度の大幅な向上が確認された。
• ヒューリスティック関数により、状態行動空間が効果的に縮小され、動的で不確実な環境でも、より速い学習と優れた一般化性能が実現された。
• ResQは、グリーディービーエフエス、ルールベース、価値反復の各手法と比較して、報酬効率および時間効率の両面で一貫して優れており、特に変動が激しいシナリオで顕著な優位性を示した。
• ヒートマップおよびボックスプロットの分析から、ResQは報酬が190以上の高報酬結果の割合が最も高く、エピソード全体にわたり、強固で信頼性の高いパフォーマンスを発揮していることが確認された。