[논문 리뷰] Intelligent Power Control for Spectrum Sharing: A Deep Reinforcement Learning Approach.

Jun Fang, Xingjian Li외 3명|arXiv (Cornell University)|2017. 12. 20.

Cognitive Radio Networks and Spectrum Sensing참고 문헌 35인용 수 10

한 줄 요약

이 논문은 인지 무선 네트워크에서 부가 사용자에 대한 딥 강화학습(DRL) 기반 전력 제어 프레임워크를 제안하며, 주 사용자의 행동에 대한 사전 지식이 없이도 스마트하게 전송 전력을 조정할 수 있도록 한다. 신호 세기를 모니터링하기 위해 공간적으로 배치된 센서 노드를 활용함으로써, DRL 에이전트는 몇 번의 반복 내에 두 사용자 모두의 동시 성공 전송을 달성하며, 품질보증(QoS) 요구사항을 충족시킨다.

ABSTRACT

We consider the problem of spectrum sharing in a cognitive radio system consisting of a primary user and a secondary user. The primary user and the secondary user work in a non-cooperative manner, and independently adjust their respective transmit power. Specifically, the primary user is assumed to update its transmit power based on a pre-defined power control policy. The secondary user does not have any knowledge about the primary user's transmit power, neither its power control strategy. The objective of this paper is to develop a learning-based power control method for the secondary user in order to share the common spectrum with the primary user. To assist the secondary user, a set of sensor nodes are spatially deployed to collect the received signal strength information at different locations in the wireless environment. We develop a deep reinforcement learning-based method for the secondary user, based on which the secondary user can intelligently adjust its transmit power such that after a few rounds of interaction with the primary user, both the primary user and the secondary user can transmit their own data successfully with required qualities of service. Our experimental results show that the secondary user can interact with the primary user efficiently to reach a goal state (defined as a state in which both the primary and the secondary users can successfully transmit their own data) from any initial states within a few number of iterations.

연구 동기 및 목표

• 부가 사용자가 주 사용자의 전력 제어 전략에 대한 지식이 없이도 스펙트럼 공유 문제를 해결하고자 한다.
• 비협력적 환경에서 부가 사용자가 동적으로 전송 전력을 조정하여 품질보증(QoS)을 유지하고자 한다.
• 부가 사용자가 주 사용자와의 상호작용을 통해 성공적인 전송 상태로 수렴할 수 있는 학습 기반 방법을 개발하고자 한다.
• 분산된 센서 노드를 활용해 실시간 신호 세기 정보를 수집하여 정보 기반 의사결정을 가능하게 하고자 한다.
• 변화무도한 무선 환경에서 간섭을 최소화하고 높은 신뢰성으로 효율적인 스펙트럼 접근을 달성하고자 한다.

제안 방법

• 딥 Q네트워크(DQN) 강화학습 에이전트는 센서 노드에서 수집한 관측값을 바탕으로 부가 사용자의 전송 전력을 최적화하도록 훈련된다.
• 센서 노드는 무선 환경 전역에서 수신 신호 세기(RSS) 측정값을 수집하기 위해 공간적으로 배치된다.
• DRL 에이전트의 상태 공간은 다수의 센서에서 온 RSS 독립값을 포함하며, 현재 무선 환경을 나타낸다.
• 행동 공간은 부가 사용자가 데이터를 전송할 수 있는 이산적인 전력 수준으로 구성된다.
• 보상 함수는 주 사용자와 부가 사용자 모두의 성공적인 전송을 장려하면서 간섭을 최소화하도록 설계된다.
• DRL 에이전트는 주 사용자와의 시도-오류 상호작용을 통해 학습하며, 장기적 보상을 최대화하도록 정책을 업데이트한다.

실험 결과

연구 질문

• RQ1 부가 사용자가 주 사용자의 전력 제어 정책을 알지 못해도 전송 전력을 효과적으로 조정할 수 있는가?
• RQ2 DRL 기반 에이전트는 주 사용자와 부가 사용자가 요구하는 QoS를 충족시키는 성공적인 전송 상태로 얼마나 빨리 수렴하는가?
• RQ3 분산된 센서 노드는 정확하고 적시적인 전력 제어 의사결정을 위해 어떤 역할을 하는가?
• RQ4 다양한 초기 상태와 환경 조건에서 DRL 기반 접근법의 강건성은 어떠한가?
• RQ5 센서 위치와 RSS 측정 품질은 부가 사용자의 학습 성능에 어떤 영향을 미치는가?

주요 결과

• 어떤 초기 상태에서든, 부가 사용자는 몇 번의 반복 내에 주 사용자와 부가 사용자가 모두 성공적으로 전송하는 목표 상태에 도달한다.
• DRL 기반 방법은 주 사용자의 전력 제어 전략에 대한 명시적 지식 없이도 효율적인 스펙트럼 공유를 가능하게 한다.
• 공간적으로 분산된 센서 노드의 사용은 DRL 에이전트의 환경 상태 추정 정확도를 크게 향상시킨다.
• 제안된 방법은 다양한 초기 조건에서 안정적인 성능을 보이며, 뛰어난 일반화 능력을 입증한다.
• 학습 과정이 빠르게 수렴함으로써, 동적 인지 무선 환경에서 실시간 구현 가능성을 시사한다.