[논문 리뷰] Reinforcement Learning for Interference Avoidance Game in RF-Powered Backscatter Communications

Ali Rahmati, Huaiyu Dai|arXiv (Cornell University)|2019. 03. 08.

Energy Harvesting in Wireless Networks참고 문헌 20인용 수 7

한 줄 요약

이 논문은 전파(_RF_)에서 에너지를 얻는 백스캐터 커뮤니케이션 환경에서 강화학습 기반 간섭 회피 전략을 제안하며, 사용자와 스마트 간섭자 간의 상호작용을 스택엘베르크 게임으로 모델링한다. 전송 비트 수를 유틸리티로 정의하고, 수렴 속도를 높이기 위해 히트부팅 기법을 적용한 Q-학습을 사용함으로써, 표준 Q-학습 대비 사용자 유틸리티를 최대 31% 향상시키며, 동적이고 불확실한 환경에서 무작위 및 고정 전략보다 뛰어난 성능을 발휘한다.

ABSTRACT

RF-powered backscatter communication is a promising new technology that can be deployed for battery-free applications such as internet of things (IoT) and wireless sensor networks (WSN). However, since this kind of communication is based on the ambient RF signals and battery-free devices, they are vulnerable to interference and jamming. In this paper, we model the interaction between the user and a smart interferer in an ambient backscatter communication network as a game. We design the utility functions of both the user and interferer in which the backscattering time is taken into the account. The convexity of both sub-game optimization problems is proved and the closed-form expression for the equilibrium of the Stackelberg game is obtained. Due to lack of information about the system SNR and transmission strategy of the interferer, the optimal strategy is obtained using the Q-learning algorithm in a dynamic iterative manner. We further introduce hotbooting Q-learning as an effective approach to expedite the convergence of the traditional Q-learning. Simulation results show that our approach can obtain considerable performance improvement in comparison to random and fixed backscattering time transmission strategies and improves the convergence speed of Q-Learning by about 31%.

연구 동기 및 목표

• RF에서 에너지를 얻는 백스캐터 커뮤니케이션 환경에서 사용자와 스마트 간섭자가 동적으로 상호작용하는 불확실한 환경에서 발생하는 간섭 문제를 해결하기 위해.
• 전송 비트 수로 정의된 유틸리티를 고려하여 백스캐터링 시간과 전송 전력 할당을 스택엘베르크 게임으로 모델링하기 위해.
• 시스템 상태와 간섭자 행동에 대한 지식이 부족한 상황에서도 사용자가 백스캐터링 시간을 적응적으로 선택할 수 있는 학습 기반 전략을 개발하기 위해.
• 새로운 히트부팅 기법을 통해 Q-학습의 수렴 속도를 가속화하여 동적 상황에서 빠른 정책 학습을 가능하게 하기 위해.

제안 방법

• 사용자를 리더, 간섭자를 팔로워로 하는 스택엘베르크 게임으로 사용자와 스마트 간섭자 간의 상호작용을 수식화하기 위해.
• 전송 비트 수에 기반한 유틸리티 함수를 정의하며, 백스캐터링 시간과 전송 전력 비용을 포함하기 위해.
• 하위 게임 최적화 문제의 볼록성을 증명하고 분석적으로 폐쇄형 평형 해를 유도하기 위해.
• 시스템 상태와 간섭자 전략이 알려져 있지 않은 동적이고 부분 관측 가능한 환경에서 Q-학습을 적용하기 위해.
• 분석적 평형 해를 기반으로 Q-값을 초기화하여 수렴 속도를 가속화하는 히트부팅 Q-학습을 구현하기 위해.
• 백스캐터링 시간과 간섭자 전력에 대한 이산 행동 공간을 사용하며, 에프실론-그리디 탐색과 시간 차분 갱신을 적용하기 위해.

실험 결과

연구 질문

• RQ1 RF에서 에너지를 얻는 백스캐터 네트워크에서 스마트이고 적응적인 간섭자가 존재할 경우, 사용자는 어떻게 최적의 백스캐터링 시간을 선택할 수 있는가?
• RQ2 서로의 행동에 대해 정보가 불완전한 동적 스택엘베르크 게임에서의 평형 전략은 무엇인가?
• RQ3 부분 관측 가능하고 간섭이 빈번한 백스캐터 환경에서 Q-학습이 최적의 전송 정책을 효과적으로 학습할 수 있는가?
• RQ4 이 동적 게임 환경에서 표준 Q-학습에 비해 히트부팅 Q-학습이 수렴 속도를 얼마나 향상시키는가?

주요 결과

• 제안된 Q-학습 기반 접근법은 무작위 및 고정 백스캐터링 시간 전략에 비해 사용자 유틸리티를 크게 향상시킨다.
• 모의 실험 설정에서 표준 Q-학습 대비 히트부팅 Q-학습이 수렴 속도를 약 31% 빠르게 한다.
• 사용자와 HAP 간의 거리가 증가할수록 평균 사용자 유틸리티가 감소하며, 경로 손실이 에너지 수확과 데이터 수확에 미치는 영향을 반영한다.
• 백스캐터링 시간의 비용이 증가할수록 사용자 유틸리티가 감소함을 확인하여, 전송와 에너지 수확 간의 트레이드오프를 확인할 수 있다.
• 표준 Q-학습과 히트부팅 Q-학습 모두 유사한 최종 유틸리티 수준을 달성하여, 근사 최적 정책 수렴을 확인한다.
• 스택엘베르크 게임 평형에 대한 분석적 해는 타당하며, 학습 과정의 초기화로 효과적으로 활용될 수 있다.