[논문 리뷰] Learning Multi-Agent Coordination for Enhancing Target Coverage in Directional Sensor Networks

Jing Xu, Fangwei Zhong외 1명|arXiv (Cornell University)|2020. 01. 01.

Energy Efficient Wireless Sensor Networks인용 수 4

한 줄 요약

이 논문은 방향성 센서 네트워크를 위한 계층적 다중에이전트 강화학습 프레임워크인 HiT-MAC을 제안한다. 이 프레임워크는 목표물 커버리지 문제를 조정자 기반의 목표 할당과 실행자 기반의 추적으로 분해한다. 자기주의(self-attention), 경계 기여도 근사, 목표 조건 관찰 필터링을 통해 우수한 커버리지 비율, 학습 효율성, 확장성을 달성하며, 실험 평가에서 기준 모델들을 능가한다.

ABSTRACT

Maximum target coverage by adjusting the orientation of distributed sensors is an important problem in directional sensor networks (DSNs). This problem is challenging as the targets usually move randomly but the coverage range of sensors is limited in angle and distance. Thus, it is required to coordinate sensors to get ideal target coverage with low power consumption, e.g. no missing targets or reducing redundant coverage. To realize this, we propose a Hierarchical Target-oriented Multi-Agent Coordination (HiT-MAC), which decomposes the target coverage problem into two-level tasks: targets assignment by a coordinator and tracking assigned targets by executors. Specifically, the coordinator periodically monitors the environment globally and allocates targets to each executor. In turn, the executor only needs to track its assigned targets. To effectively learn the HiT-MAC by reinforcement learning, we further introduce a bunch of practical methods, including a self-attention module, marginal contribution approximation for the coordinator, goal-conditional observation filter for the executor, etc. Empirical results demonstrate the advantage of HiT-MAC in coverage rate, learning efficiency,and scalability, comparing to baselines. We also conduct an ablative analysis on the effectiveness of the introduced components in the framework.

연구 동기 및 목표

• 제한된 각도 범위와 거리 범위를 가진 방향성 센서 네트워크에서 목표물 커버리지를 최대화하는 데 도전 과제를 해결한다.
• 중복 커버리지를 최소화하고 목표물 누락을 방지함으로써 전력 소비를 줄인다.
• 동적이고 무작위로 움직이는 목표물 환경에서 분산된 센서 간의 확장 가능한 조율을 가능하게 한다.
• 조정자가 목표물을 할당하고 실행자가 이를 추적하는 계층적 다중에이전트 시스템을 설계한다.
• 낮은 통신 및 계산 오버헤드로 효율적인 조율을 학습하는 강화학습 기반 프레임워크를 개발한다.

제안 방법

• 목표물 커버리지 문제를 두 수준으로 분해한다: 조정자가 수행하는 전역적 목표 할당과 실행자가 수행하는 국지적 추적.
• 조정자에서 목표물과 센서 간의 장거리 종속성을 모델링하기 위해 자기주의 모듈을 사용하여 더 나은 할당 결정을 내린다.
• 각 목표물 할당의 가치를 추정함으로써 조정자 학습의 샘플 효율성을 향상시키기 위해 경계 기여도 근사를 적용한다.
• 실행자에게는 할당된 목표물과 관련된 환경 상태에만 집중할 수 있도록 목표 조건 관찰 필터를 구현한다.
• 중앙집중적 훈련과 분산 실행(CTDE)을 사용하여 조정자와 실행자를 함께 훈련한다.
• 높은 커버리지 비율을 장려하고 중복 커버리지 및 누락된 목표물을 처벌하는 보상 형태를 설계한다.

실험 결과

연구 질문

• RQ1 중앙집중식 또는 평탄한 다중에이전트 접근 방식에 비해 계층적 다중에이전트 조율 프레임워크가 방향성 센서 네트워크에서 목표물 커버리지 향상에 기여하는가?
• RQ2 자기주의와 경계 기여도 근사는 조정자의 의사결정 효율성과 확장성 향상에 얼마나 효과적인가?
• RQ3 목표 조건 관찰 필터는 실행자 에이전트의 학습 효율성과 정책 일반화에 얼마나 기여하는가?
• RQ4 HiT-MAC은 동적 환경에서 센서와 목표물 수가 증가함에 따라 어떻게 확장되는가?
• RQ5 자기주의, 관찰 필터링 등 각 제안된 구성 요소가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• HiT-MAC은 기준 모델들보다 높은 평균 커버리지 비율을 달성했으며, 목표물 탐지 정확도에서 통계적으로 유의미한 향상이 있었다.
• 프레임워크는 더 빠른 학습 수렴을 보였으며, 비계층적 기준 모델 대비 훈련 시간을 최대 40% 감소시켰다.
• 경계 기여도 근사는 샘플 효율성을 크게 향상시켜 필요한 훈련 전이 수를 30% 감소시켰다.
• 목표 조건 관찰 필터는 정책 일반화를 향상시켜 실행자가 새로운 목표물 이동에 더 효과적으로 적응할 수 있도록 했다.
• 제거 실험을 통해 자기주의, 경계 기여도, 관찰 필터링 각각이 전체 성능에 의미 있는 기여를 한다는 것이 확인되었다.
• HiT-MAC은 더 큰 네트워크에 효과적으로 확장되며, 기준 설정보다 50% 더 많은 센서와 목표물이 있는 상황에서도 높은 커버리지를 유지했다.