[논문 리뷰] Multi-Agent Reinforcement Learning for Energy Harvesting Two-Hop Communications with Full Cooperation.

Andrea Ortiz, Hussein Al-Shatri외 2명|arXiv (Cornell University)|2017. 02. 08.

Energy Harvesting in Wireless Networks인용 수 9

한 줄 요약

이 논문은 에너지 수확(energy-harvesting, EH) 두 홉 네트워크를 위한 협업형 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 여기서 에너지 수확 전송기와 릴레이가 에너지, 배터리, 버퍼, 채널 상태의 인과적 지식을 기반으로 전송 정책을 공동으로 최적화한다. 이 알고리즘은 신호 전송 오버헤드를 고려한 후에도 비협업 방법보다 높은 Throughput를 달성하며, 이론적 수렴 보장이 있다.

ABSTRACT

We focus on energy harvesting (EH) two-hop communications since they are the essential building blocks of more complicated multi-hop networks. The scenario consists of three nodes, where an EH transmitter wants to send data to a receiver through an EH relay. The harvested energy is used exclusively for data transmission and we address the problem of how to efficiently use it. As in practical scenarios, we assume only causal knowledge at the EH nodes, i.e., in each time interval, the transmitter and the relay know their own current and past amounts of incoming energy, battery levels, data buffer levels and channel coefficients for their own transmit channels. Our goal is to find transmission policies which aim at maximizing the throughput considering that the EH nodes fully cooperate with each other to exchange their causal knowledge during a signaling phase. We model the problem as a Markov game and propose a multi-agent reinforcement learning algorithm to find the transmission policies. Furthermore, we show the trade-off between the achievable throughput and the signaling required, and provide convergence guarantees for the proposed algorithm. Results show that even when the signaling overhead is taken into account, the proposed algorithm outperforms other approaches that do not consider cooperation among the nodes.

연구 동기 및 목표

• 에너지 수확 두 홉 네트워크에서 에너지 및 채널 상태의 인과적 지식을 고려한 Throughput 최대화 문제를 해결하기 위해.
• 에너지 수확 에너지를 효율적으로 활용하여 협업 방식으로 데이터 전송을 수행할 수 있는 전송 정책을 설계하기 위해.
• 부분 관측 및 자원 제약 조건 하에서 순차적 의사결정을 포괄하는 마르코프 게임(Markov game)으로 문제를 모델링하기 위해.
• 에너지 수확 노드 간 완전한 협업을 위해 요구되는 신호 전송 오버헤드와 Throughput 향상 사이의 트레이드오프를 조사하기 위해.
• 협업형 에너지 수확 통신 환경에서 제안된 MARL 알고리즘의 수렴 보장을 제공하기 위해.

제안 방법

• 전송기와 릴레이가 공통 목표를 가진 에이전트로 작용하는 마르코프 게임로 두 홉 EH 통신 시스템을 모델링한다.
• 에너지, 배터리, 버퍼, 채널 상태의 인과적 관측을 기반으로 최적의 전송 정책을 학습할 수 있도록 다중 에이전트 강화학습 알고리즘을 설계한다.
• 각 시간 간격에서 의사결정을 내리기 전에 에이전트들이 자신의 인과적 지식을 교환하는 신호 전송 단계를 통해 완전한 협업을 구현한다.
• 가치 기반 MARL 기법을 사용하여 에너지 및 버퍼 제약 조건 하에서 장기적 Throughput를 최대화하는 학습 문제를 설정한다.
• 정의된 마르코프 게임 프레임워크 내에서 학습 알고리즘이 안정된 정책에 수렴하도록 수렴 분석을 도입한다.
• 협업의 실제 통신 비용을 반영하기 위해 성능 평가에 신호 전송 오버헤드를 고려한다.

실험 결과

연구 질문

• RQ1 에너지 수확 노드 간의 완전한 협업이 두 홉 통신 시스템에서 달성 가능한 Throughput에 어떤 영향을 미치는가?
• RQ2 인과적 지식 교환을 위해 요구되는 신호 전송 오버헤드와 협업으로부터 얻는 Throughput 향상 사이의 트레이드오프는 어떠한가?
• RQ3 인과적 지식과 자원 제약 조건 하에서 다중 에이전트 강화학습 알고리즘이 최적의 전송 정책으로 수렴할 수 있는가?
• RQ4 제안된 MARL 접근법은 채널 및 에너지 변동에 대한 강건성과 Throughput 측면에서 비협업 전략과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 MARL 알고리즘이 신호 전송 오버헤드를 고려한 후에도 비협업 전략보다 달성 가능한 Throughput 측면에서 뛰어난 성능을 보였다.
• 완전한 협업은 에너지 및 데이터 전송 결정의 보다 우수한 조율을 가능하게 하여 시스템 성능을 크게 향상시켰다.
• 마르코프 게임 설정 하에서 알고리즘이 안정된 정책으로 수렴함을 입증하여 신뢰할 수 있는 학습을 보장했다.
• Throughput 향상과 신호 전송 비용 사이에 트레이드오프가 존재하지만, 제안된 방법은 다양한 채널 및 에너지 조건에서 뛰어난 성능 유지를 보였다.
• 결과는 인과적 지식과 협업이 더 효율적인 에너지 활용과 높은 데이터 전달률을 이끌 수 있음을 확인했다.