[논문 리뷰] Throughput Maximization for Ambient Backscatter Communication: A Reinforcement Learning Approach

Xiaokang Wen, Suzhi Bi외 3명|arXiv (Cornell University)|2019. 01. 03.

Energy Harvesting in Wireless Networks참고 문헌 12인용 수 5

한 줄 요약

이 논문은 희미한 채널에서 에너지 수확 모드와 백스캐터링 모드 사이의 동적 선택을 통해 앰비언트 백스캐터링 통신(ABC) 시스템에서의 전송률을 최대화하기 위한 강화학습 접근법을 제안한다. 알려진 채널 통계를 바탕으로 한 마르코프 결정 과정(MDP)과 값 반복 알고리즘, 그리고 알려지지 않은 분포에 대해 Q-학습을 적용하여, 시뮬레이션에서 탐욕 전략보다 유의미하게 뛰어난 근사 최적 성능을 달성한다.

ABSTRACT

Ambient backscatter (AB) communication is an emerging wireless communication technology that enables wireless devices (WDs) to communicate without requiring active radio transmission. In an AB communication system, a WD switches between communication and energy harvesting modes. The harvested energy is used to power the devices operations, e.g., circuit power consumption and sensing operation. In this paper, we focus on maximizing the throughput performance of AB communication system by adaptively selecting the operating mode under fading channel environment. We model the problem as an infinite-horizon Markov Decision Process (MDP) and accordingly obtain the optimal mode switching policy by the value iteration algorithm given the channel distributions. Meanwhile, when the knowledge of channel distribution is absent, a Q-learning (QL) method is applied to explore a suboptimal strategy through device repeated interaction with the environment. Finally, our simulations show that the proposed QL method can achieve close-to-optimal throughput performance and significantly outperforms the other than representative benchmark methods.

연구 동기 및 목표

• 시간에 따라 변하는 희미한 채널 조건 하에서 앰비언트 백스캐터링 통신(ABC) 시스템의 동적 모드 선택 문제를 해결한다.
• 에너지 수확과 정보 백스캐터링 간의 트레이드오프를 최적화하여 장기 평균 전송률을 극대화한다.
• 채널 분포에 대한 사전 지식이 없는 상태에서도 작동하는 학습 기반 전략을 개발하여 실시간 적응을 가능하게 한다.
• 실제 희미한 환경에서의 성능을 평가하기 위해 기준 탐욕 정책과 비교하여 제안된 방법의 성능을 평가한다.

제안 방법

• 배터리 에너지와 채널 이득을 상태로 나타내는 무한 시간 할당 마르코프 결정 과정(MDP)으로 모드 선택 문제를 수립한다.
• 채널 분포가 알려진 경우, 최적 정책을 계산하기 위해 값 반복 알고리즘을 적용한다.
• 채널 분포 지식이 없는 상황에서 환경과의 상호작용을 통해 부분 최적 정책을 학습하기 위해 Q-학습(QL) 알고리즘을 제안한다.
• Q-함수 업데이트 규칙을 사용한다: $ Q(s,a) \leftarrow Q(s,a) + \alpha [r + \gamma \max_{a'} Q(s',a') - Q(s,a)] $, 여기서 $ s $는 상태, $ a $는 행동, $ r $은 보상, $ \gamma $는 할인 요소이다.
• 보상은 현재 채널 조건 하에서 성공적인 백스캐터링으로 인해 각 타임슬롯에서 달 достиг은 전송률로 정의한다.
• 반복적인 상호작용을 통해 Q-네트워크를 훈련시켜, 즉각적인 보상과 향후 에너지 가용성 간의 균형을 이루도록 한다.

실험 결과

연구 질문

• RQ1 제한된 에너지 가용성 하에서 시간에 따라 변하는 희미한 채널 조건에서 앰비언트 백스캐터링 시스템의 전송률을 어떻게 최대화할 수 있는가?
• RQ2 채널 통계가 알려지지 않은 상황에서 에너지 수확과 정보 전송 간의 최적 트레이드오프는 무엇인가?
• RQ3 강화학습이 채널 분포 지식 없이 근사 최적의 모드 선택 정책을 효과적으로 학습할 수 있는가?
• RQ4 동적 희미한 환경에서 제안된 Q-학습 방법의 성능은 탐욕 정책 및 고정 정책 기준 대비 어떻게 비교되는가?
• RQ5 Q-학습 에이전트는 향후 유리한 전송 기회를 위해 충분한 에너지 예비를 유지하도록 얼마나 잘 학습하는가?

주요 결과

• Q-학습 기반 방법은 채널 분포 지식이 없더라도 근사 최적의 전송률 성능을 달성한다.
• Q-학습 정책은 탐욕 전략에서 관찰되는 빈번한 전송 장애를 피하기 위해 균형 잡힌 배터리 에너지 분포를 유지한다.
• 10^4개의 타임슬롯 동안의 시뮬레이션에서 탐욕 전략은 태그의 에너지를 3단위 이하로 유지한 지 80퍼센트 이상의 시간 동안 운영되어 높은 장애율을 보였다.
• 최적의 값 반복 정책과 Q-학습 정책은 매우 유사한 배터리 에너지 상태 분포를 보이며, 장기적 보상 트레이드오프를 효과적으로 학습했음을 시사한다.
• 특히 높은 전송 전력 조건 하에서 Q-학습 방법은 평균 전송률 측면에서 탐욕 기준 대비 뚜렷한 성능 향상을 보였다.
• 학습된 시간적 종속성에 기반해 현재 채널 조건과 향후 전송 기회를 종합적으로 고려함으로써, 신뢰할 수 있는 통신이 가능해졌다.