[논문 리뷰] Coordinating Disaster Emergency Response with Heuristic Reinforcement Learning

Long Nguyen, Zhou Yang외 3명|arXiv (Cornell University)|2018. 11. 12.

Evacuation and Crowd Dynamics참고 문헌 32인용 수 14

한 줄 요약

이 논문은 사회적 미디어 데이터를 활용하여 재난 시 자원봉사자 배치를 조율하는 히우리스틱 다중 에이전트 강화학습 알고리즘인 ResQ를 제안한다. 히우리스틱 함수를 통해 상태-행동 공간을 축소시킴으로써 학습 속도를 향상시키고, 구조 응답 시간, 보상 비율, 비용 효율성에서 최신 기술을 초월하여 실험에서 37.9%의 보상 비율과 5.0 단계의 시간 단위를 달성한다.

ABSTRACT

A crucial and time-sensitive task when any disaster occurs is to rescue victims and distribute resources to the right groups and locations. This task is challenging in populated urban areas, due to the huge burst of help requests generated in a very short period. To improve the efficiency of the emergency response in the immediate aftermath of a disaster, we propose a heuristic multi-agent reinforcement learning scheduling algorithm, named as ResQ, which can effectively schedule the rapid deployment of volunteers to rescue victims in dynamic settings. The core concept is to quickly identify victims and volunteers from social network data and then schedule rescue parties with an adaptive learning algorithm. This framework performs two key functions: 1) identify trapped victims and rescue volunteers, and 2) optimize the volunteers' rescue strategy in a complex time-sensitive environment. The proposed ResQ algorithm can speed up the training processes through a heuristic function which reduces the state-action space by identifying the set of particular actions over others. Experimental results showed that the proposed heuristic multi-agent reinforcement learning based scheduling outperforms several state-of-art methods, in terms of both reward rate and response times.

연구 동기 및 목표

• 실시간으로 변하는 사회망 서비스 데이터의 제한된 정보를 바탕으로 재난 구호 활동을 조율하는 과제를 해결한다.
• 동적인 데이터가 부족한 재난 환경에서 전통적인 지도학습과 수렴 속도가 느린 적응형 모델의 한계를 극복한다.
• 불확실성과 급격한 수요 폭증에도 불구하고 자원봉사자와 피해자를 효율적으로 매칭할 수 있는 확장성 있고 적응력 있는 스케줄링 시스템을 개발한다.
• 실시간 사회적 미디어 신호를 활용해 피해자와 자원봉사자의 탐지 정보를 확보함으로써 시간 민감도가 높은 비상 상황에서 자원 배분을 개선한다.
• 기존 강화학습 및 기본 히우리스틱보다 더 빠르게 수렴하고 높은 성능을 달성하는 강화학습 프레임워크를 설계한다.

제안 방법

• 자연어 처리 및 정보 추출 기법을 사용해 지리적 태그가 부여된 사회적 미디어 트윗에서 피해자 및 자원봉사자 위치를 추출한다.
• 공간적 및 시간적 데이터를 다중 에이전트 강화학습을 위한 이산 격자 기반 환경으로 변환한다.
• 높은 영향력을 가진 구조 행동을 우선순위로 정함으로써 행동 공간을 단순화하는 히우리스틱 함수를 구현하여 상태-행동 복잡도를 감소시킨다.
• 중앙집중식 커뮤니케이션 모델을 사용하여 자원봉사자들이 강화학습을 통해 학습한 정책에 따라 행동하며, 피해자에게 도달하면 보상, 격자 외부로 나가면 벌점을 받는다.
• 경험 재생 및 타겟 네트워크를 사용한 가치 기반 딥 강화학습 접근 방식을 통해 ResQ 알고리즘을 학습시킨다.
• 탐색 단계에 규칙 기반 히우리스틱을 통합하여 수렴 속도를 가속화하면서도 피해자 및 자원봉사자 위치의 동적 변화에 적응력을 유지한다.

실험 결과

연구 질문

• RQ1 히우리스틱 다중 에이전트 강화학습은 시간 민감도가 높은 재난 대응 상황에서 자원봉사자 배치를 효과적으로 조율할 수 있는가?
• RQ2 제안된 히우리스틱 함수는 동적이고 데이터가 부족한 환경에서 표준 강화학습 대비 학습 효율성과 성능 향상에 어떤 영향을 미치는가?
• RQ3 응답 시간과 구조 성공률 측면에서 ResQ는 전통적 방법인 탐욕적 탐색, 가치 반복, 무작위 보행에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 사회적 미디어 데이터는 대규모 재난 대응 시스템의 실시간 가용 입력으로 신뢰성 있게 변환될 수 있는가?
• RQ5 히우리스틱 가이던스는 다중 에이전트 강화학습에서 응급 조율 작업의 수렴 속도와 최종 성능에 어떤 영향을 미치는가?

주요 결과

• ResQ는 동일한 실험에서 다음으로 높은 성능을 보인 강화학습(31.85%)보다 뚜렷이 높은 37.9%의 최고 보상 비율을 달성했다.
• ResQ는 평균 5.0 단계 내로 구조 작업을 완료하여 표준 강화학습(5.4 단계)보다 모든 방법 중 가장 빠른 속도를 보였다.
• ResQ는 24 에피소드 내에 안정된 성능으로 수렴하였으며, 표준 RL이 수렴하기 위해 필요한 208 에피소드보다 훨씬 빠른 학습 속도를 보였다.
• 히우리스틱 함수는 상태-행동 공간을 효과적으로 축소시켜 동적이고 불확실한 환경에서 더 빠른 학습과 더 나은 일반화를 가능하게 하였다.
• ResQ는 특히 변동성이 높은 상황에서 탐욕적 B.F.S, 규칙 기반 및 가치 반복 방법보다 보상 및 시간 효율성 측면에서 일관되게 뛰어난 성능을 보였다.
• 히트맵 및 박스플롯 분석을 통해 ResQ는 높은 보상 결과(>190) 비율이 가장 높았음을 확인하였으며, 이는 에피소드 전반에 걸쳐 뛰어난 안정성과 신뢰성을 보임을 시사한다.