[논문 리뷰] Intelligent User Association for Symbiotic Radio Networks using Deep Reinforcement Learning

Qianqian Zhang, Ying‐Chang Liang외 1명|arXiv (Cornell University)|2019. 05. 10.

Advanced MIMO Systems Optimization참고 문헌 32인용 수 9

한 줄 요약

이 논문은 환경 백스캐터 커뮤니케이션(AmBC)을 사용한 상호작용 무선 네트워크(SRN)에서 지능형 사용자 연동을 위한 중심화된 및 분산형 두 가지 딥 강화학습(DRL) 알고리즘을 제안한다. 과거 채널 데이터를 활용해 실시간 조건을 추론함으로써, DRL 에이전트는 전체 실시간 채널 상태 정보(CSI)가 필요 없이 IoT 장치의 근접 최적의 합산 속도를 달성한다. 특히 분산형 DRL은 수많은 IoT 장치가 존재하는 동적인 환경에서 뛰어난 확장성을 보여준다.

ABSTRACT

In this paper, we are interested in symbiotic radio networks, in which an Internet-of-Things (IoT) network parasitizes in a primary network to achieve spectrum-, energy-, and infrastructure-efficient communications. Specifically, the BS serves multiple cellular users using time division multiple access (TDMA) and each IoT device is associated with one cellular user for information transmission. We focus on the user association problem, whose objective is to link each IoT device to an appropriate cellular user by maximizing the sum rate of all IoT devices. However, the difficulty in obtaining the full real-time channel information makes it difficult to design an optimal policy for this problem. To overcome this issue, we propose two deep reinforcement learning (DRL) algorithms, both use the historical information to infer the current information in order to make appropriate decisions. One algorithm, centralized DRL, makes decisions for all IoT devices at one time with global information. The other algorithm, distributed DRL, makes a decision only for one IoT device at one time using local information. Finally, simulation results show that the two DRL algorithms achieve comparable performance as the optimal user association policy which requires perfect real-time information, and the distributed DRL algorithm has the advantage of scalability.

연구 동기 및 목표

• IoT 장치가 주요 네트워크의 기지국(BS)으로부터 신호를 백스캐터링하여 통신하는 상호작용 무선 네트워크(SRN)에서 사용자 연동 문제를 해결하기 위해.
• 최적의 사용자 연동을 위해 전체 실시간 채널 상태 정보(CSI)를 확보하는 것이 비현실적이라는 점을 해결하기 위해.
• 과거 CSI를 활용해 현재 채널 상태를 추론하는 확장성 있고 효율적인 DRL 기반 사용자 연동 알고리즘을 설계하기 위해.
• 시간 분할 다중접근(TDMA) 및 순차 간섭 제거(SIC) 제약 조건 하에서 모든 IoT 장치의 합산 속도를 최대화하기 위해.
• 변동성이 큰 fading 환경에서 제안된 DRL 알고리즘의 성능과 확장성을 정적 및 극도로 동적인 fading 환경에서 평가하기 위해.

제안 방법

• 모든 IoT 장치 및 셀룰러 사용자 CSI를 포함한 전역 상태 정보를 사용하는 중심화된 DRL 알고리즘을 제안하여, 모든 IoT 장치의 연동을 동시에 결정한다.
• 각 IoT 장치가 국소 CSI와 과거 데이터를 기반으로 자체적으로 연동 결정을 내리는 분산형 DRL 알고리즘을 개발하여 확장성 향상을 도모한다.
• 학습 안정성 향상과 정책 학습 개선을 위해 경험 재생과 타겟 네트워크를 활용한 딥 Q네트워크(DQN)를 적용한다.
• 성능 평가의 안정성 확보 및 동적 환경에서의 수렴 안정성을 확보하기 위해 과거 200 프레임의 이동 평균을 사용한다.
• 채널을 대규모 fading(천천히 변화하는)과 소규모 fading(상관도 ρ를 가진 빠른 fading)의 조합으로 모델링하며, ρ=0.5와 ρ=0은 각각 중간 및 고도의 동적 환경을 나타낸다.
• DRL 프레임워크 내 정책 최적화를 이끄는 데 사용하기 위해 모든 IoT 장치의 합산 속도를 기반으로 보상 함수를 구현한다.

실험 결과

연구 질문

• RQ1 DRL 기반 사용자 연동이 전체 실시간 CSI가 필요 없이 SRN에서 근접 최적의 합산 속도를 달성할 수 있는가?
• RQ2 제한된 CSI 피드백 조건 하에서 동적 채널 조건에서 중심화형 대비 분산형 DRL의 성능는 어떻게 비교되는가?
• RQ3 과거 채널 정보는 실시간 CSI 부족 상황에서 사용자 연동 결정에 얼마나 효과적으로 보완할 수 있는가?
• RQ4 IoT 장치 수가 동적으로 변화할 경우 분산형 DRL 알고리즘의 확장성은 어떻게 유지되는가?
• RQ5 채널 상관도가 변화하는 조건(ρ=0.5 대비 ρ=0)에서 제안된 DRL 알고리즘과 최적 정책 간의 성능 격은 어느 정도인가?

주요 결과

• 중심화형 및 분산형 DRL 알고리즘은 완벽한 실시간 CSI가 필요한 최적 정책과 근접한 합산 속도를 달성하며, 특히 정적 fading 환경(ρ=0.5)에서 두드러진 성능을 보인다.
• 극도로 동적인 채널(ρ=0)에서도 두 DRL 알고리즘이 여전히 최적 정책에 근접한 성능을 보이며, 소규모 fading의 상관성이 없더라도 대규모 fading 패tern의 학습을 통해 강건성을 입증한다.
• IoT 장치 수가 변화하는 상황에서도 분산형 DRL 알고리즘은 높은 성능와 확장성을 유지하며, 중심화형 DRL이 행동 공간의 기하급수적 증가로 인해 비가능해지는 상황에서 랜덤 연동보다 뛰어난 성능을 보인다.
• M=N=8 조건에서 분산형 DRL은 평균 합산 속도 1.1 비트/프레임/Hz를 달성하여 랜덤 정책(0.6 비트/프레임/Hz)보다 뚜렷이 뛰어나다.
• 고도로 동적인 환경(ρ=0)에서는 DRL과 최적 정책 간 성능 격이 약간 증가하는 경향이 있으며, 주로 과거 데이터로부터 상관성이 없는 소규모 fading을 예측하기 어려운 데 기인한다.
• 분산형 DRL 알고리즘이 대규모 네트워크에서 확장성 있고 효과적이며, 동적인 IoT 환경에서의 실용적 구현에 적합함을 입증한다.