[논문 리뷰] Hierarchical Reinforcement Learning for Relay Selection and Power Optimization in Two-Hop Cooperative Relay Network
이 논문은 총 전력 제약 하에서 채널 상태 정보(CSI)가 사전에 제공되지 않는 이중호프 협력 릴레이 네트워크에서 아웃리지 확률을 최소화하기 위해 계층적 강화학습(HRL) 프레임워크를 제안한다. 문제를 릴레이 선택과 전력 배분의 두 수준으로 분해함으로써 HRL 접근법은 탐색 공간 복잡도를 감소시켜 희박한 보상 환경에서 효율적인 탐색을 가능하게 하며, DRL 기준선 대비 30회의 수렴 반복 이르기까지 5% 낮은 아웃리지 확률을 달성한다.
Cooperative communication is an effective approach to improve spectrum utilization. In order to reduce outage probability of communication system, most studies propose various schemes for relay selection and power allocation, which are based on the assumption of channel state information (CSI). However, it is difficult to get an accurate CSI in practice. In this paper, we study the outage probability minimizing problem subjected to a total transmission power constraint in a two-hop cooperative relay network. We use reinforcement learning (RL) methods to learn strategies for relay selection and power allocation, which do not need any prior knowledge of CSI but simply rely on the interaction with communication environment. It is noted that conventional RL methods, including most deep reinforcement learning (DRL) methods, cannot perform well when the search space is too large. Therefore, we first propose a DRL framework with an outage-based reward function, which is then used as a baseline. Then, we further propose a hierarchical reinforcement learning (HRL) framework and training algorithm. A key difference from other RL-based methods in existing literatures is that, our proposed HRL approach decomposes relay selection and power allocation into two hierarchical optimization objectives, which are trained in different levels. With the simplification of search space, the HRL approach can solve the problem of sparse reward, while the conventional RL method fails. Simulation results reveal that compared with traditional DRL method, the HRL training algorithm can reach convergence 30 training iterations earlier and reduce the outage probability by 5% in two-hop relay network with the same outage threshold.
연구 동기 및 목표
- 총 전력 제약 조건 하에서 이중호프 협력 릴레이 네트워크에서 아웃리지 확률을 최소화하는 데 도전한다.
- 실제로 자주 이용 불가능한 완벽한 채널 상태 정보(CSI)가 필요로 하는 전통적 최적화 방법의 한계를 극복한다.
- 채널 통계에 대한 사전 가정 없이 환경과의 상호작용을 통해 최적의 릴레이 선택 및 전력 배분 정책을 학습하는 강화학습 기반 솔루션을 개발한다.
- 기존의 딥 강화학습(DRL) 방법이 비효율적인 탐색으로 어려움을 겪는 고차원 행동 공간에서의 희박한 보상 문제를 해결한다.
- 공동 최적화 문제를 두 개의 하위 작업으로 분해하여 학습을 단순화하고 샘플 효율성을 향상시키는 계층적 프레임워크를 설계한다.
제안 방법
- 통신 성공 또는 실패만을 신호로 보내는 아웃리지 기반 이진 보상 함수를 제안하여 순시 신호 대 잡음비(SNR) 또는 상호정보량과 같은 연속적 피드백이 필요 없도록 한다.
- 릴레이 선택(고수준 정책)과 전력 배분(저수준 정책)을 분리하는 계층적 강화학습(HRL) 프레임워크를 설계하여 효과적 탐색 공간을 감소시킨다.
- 이중 수준 학습 알고리즘을 구현: 고수준 에이전트는 현재 상태에 기반해 릴레이를 선택하고, 저수준 에이전트는 선택된 릴레이에 대한 최적의 전력 배분을 결정한다.
- 고수준 및 저수준 정책 모두에 딥 Q네트워크(DQN)를 사용하고, 경험 재생과 타겟 네트워크를 적용하여 학습 안정성을 향상시킨다.
- 증폭 및 전달(AF) 및 디코딩 및 전달(DF) 프로토콜 하에서 시뮬레이션된 이중호프 릴레이 환경과의 상호작용을 통해 HRL 에이전트를 종합적으로 훈련한다.
- 전체 전력을 수용 가능한 수준으로 이산화하여 행동 공간을 학습에 적합하게 만드는 이산화된 전력 배분 방식을 적용한다.
실험 결과
연구 질문
- RQ1채널 상태 정보(CSI)에 대한 사전 지식이 없이도 강화학습 기반 접근법이 이중호프 협력 릴레이 네트워크에서 아웃리지 확률을 효과적으로 최소화할 수 있는가?
- RQ2기존 DRL에 비해 고차원적이고 희박한 보상 환경에서 릴레이 선택과 전력 배분의 계층적 분해가 학습 효율성을 어떻게 향상시키는가?
- RQ3기존 DRL 방법에 비해 제안된 HRL 프레임워크는 아웃리지 확률을 얼마나 감소시키고 수렴 속도를 얼마나 빠르게 하는가?
- RQ4훈련 중에 볼 수 없었던 다양한 아웃리지 임계값과 통신 프로토콜(AF 대 DF)에 대해 HRL 정책은 얼마나 강건한가?
- RQ5큰 행동 공간에서 표준 DRL이 어려움을 겪는 희박한 보상 문제를 HRL 프레임워크는 효과적으로 다룰 수 있는가?
주요 결과
- 같은 아웃리지 임계값과 총 전력 제약 조건 하에서 HRL 방법은 DRL 기준선 대비 아웃리지 확률을 5% 감소시켰다.
- 증폭 및 전달(AF) 및 디코딩 및 전달(DF) 통신 환경에서 HRL 에이전트는 DRL 방법보다 30회의 학습 반복 이르기까지 수렴을 달성했다.
- 큰 탐색 공간(다수의 릴레이 및 전력 수준)을 가진 환경에서는 DRL 방법이 희박한 보상과 낮은 샘플 효율성으로 인해 수렴 후 평균 성공률이 5% 감소했다.
- HRL 정책은 다양한 아웃리지 임계값에 대해 잘 일반화된다: λ = 1.8일 때, HRL은 큰 탐색 공간에서 아웃리지 확률을 0.04 이하로 유지하지만, DRL은 약 0.8에 도달하고 무작위 선택은 약 1.0에 가까워진다.
- HRL 프레임워크는 계층적 분해를 통해 탐색 공간을 단순화함으로써 희박한 보상 문제를 효과적으로 완화하여 보다 일관되고 안정적인 학습을 가능하게 했다.
- 다른 임계값에서 테스트한 결과 HRL 정책는 아웃리지 확률을 0.03 이하로 유지하여 더 큰 공간에서 훈련된 DRL 정책에 비해 뛰어난 강건성을 보였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.