[논문 리뷰] Deep Reinforcement Learning for Distributed Uncoordinated Cognitive Radios Resource Allocation

Ankita Tondwalkar, Dr Andres Kwasinski|arXiv (Cornell University)|2019. 10. 29.

Cognitive Radio Networks and Spectrum Sensing인용 수 6

한 줄 요약

이 논문은 비정상적인 환경에서 작동하는 분산형, 협조 없는 인지 무선 네트워크를 위한 새로운 다중 에이전트 딥 Q-학습(DQL) 알고리즘을 제안한다. 표준 단일 에이전트 DQL이 실패하는 비정상적인 환경에서도 경험 재생 및 타겟 네트워크 업데이트를 통한 중심화된 훈련을 통해 최적의 전력 할당 정책으로 수렴한다. 이는 유한한 학습 시간 내에 근사 최적 성능(포괄적 탐색의 97% 이내)을 달성하고, 69%의 경우에서 최적 정책에 도달함을 보여준다.

ABSTRACT

This paper presents a novel deep reinforcement learning-based resource allocation technique for the multi-agent environment presented by a cognitive radio network that coexists through underlay dynamic spectrum access (DSA) with a primary network. The resource allocation technique presented in this work is distributed, not requiring coordination with other agents. The presented algorithm is the first deep reinforcement learning technique for which convergence to equilibrium policies can be shown in the non-stationary multi-agent environment that results from the uncoordinated dynamic interaction between radios through the shared wireless environment. Moreover, simulation results show that in a finite learning time the presented technique is able to find policies that yield performance within 3 % of an exhaustive search solution, finding the optimal policy in nearly 70 % of cases. Moreover, it is shown that standard single-agent deep reinforcement learning may not achieve convergence when used in a non-coordinated, coupled multi-radio scenario.

연구 동기 및 목표

• CR이 주요 네트워크와 스펙트럼을 공유하는 비정상적, 다중 에이전트 강화학습 문제를 해결하기 위해.
• CR이 자율적으로 최적의 전송 전력 수준을 학습할 수 있도록 분산형, 협조 없는 자원 할당 메커니즘을 개발하기 위해.
• 이전에 알려진 수렴 가능한 DQL 해법이 없는, 약간의 순환성 있는 스토케스틱 동적 게임 문제의 균형 정책으로의 수렴을 증명하기 위해.
• 비정상성과 노이즈가 많은 Q-값 추정으로 인해 표준 단일 에이전트 DQL이 협조하지 않는 결합된 다중 라디오 환경에서 수렴하지 못함을 평가하기 위해.
• 포괄적 탐색과의 성능 비교 및 현실적인 협조하지 않는 보상 함수 하에서의 강인성 평가를 위해.

제안 방법

• 비정상성에도 불구하고 안정적인 학습을 가능하게 하기 위해 다중 에이전트 DQL에 중심화된 훈련, 경험 재생 및 타겟 네트워크 업데이트를 채택한다.
• 모든 CR의 전이를 저장하는 공유된 경험 재생 버퍼를 사용하여 네트워크가 집단적 상호작용으로부터 학습할 수 있도록 한다.
• 각 CR의 행동 선택을 위한 Q-값 함수 근사에 딥 Q-네트워크(DQN), 경험 재생 및 타겟 네트워크를 활용한다.
• 전역 최적화 향한 수렴을 이끄는 데 사용하기 위해 훈련 중 모든 CR의 총 Throughput 기반 보상 함수를 적용한다.
• 비정상적 환경에서의 학습 안정화를 위해 지연된 타겟 네트워크 업데이트(파라미터 $c$로 제어)를 적용한 수정된 DQL 알고리즘을 적용한다.
• 실제 협조하지 않는 배포를 시뮬레이션하기 위해 각 CR의 개별 Throughput을 보상으로 사용하여 강인성 검증

실험 결과

연구 질문

• RQ1 비정상적, 협조하지 않는 다중 에이전트 환경에서 다중 에이전트 DQL 알고리즘이 최적 정책으로 수렴할 수 있는가?
• RQ2 비정상적인 환경으로 인해 표준 단일 에이전트 DQL이 협조하지 않는 결합된 다중 라디오 환경에서 수렴하지 못하는가?
• RQ3 포괄적 탐색 대비, 분산형, 협조 없는 DQL 접근 방식이 유한한 학습 시간 내에 최적 해에 얼마나 가까이 갈 수 있는가?
• RQ4 보상 함수의 선택(총 Throughput 대비 각 CR의 Throughput)이 협조하지 않는 환경에서 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 최적의 수렴 속도와 성능 정확도 간의 트레이드오프를 이룰 수 있는 하이퍼파라미터 설정(예: $c$, 미니배치 크기)은 무엇인가?

주요 결과

• 제안된 다중 에이전트 DQL 기법은 유한한 학습 시간 내에 69%의 경우에서 최적 정책으로 수렴하며, 표준 단일 에이전트 DQL보다 뚜렷이 뛰어나다.
• 제안된 방법과 포괄적 탐색 최적 해 사이의 총 Throughput 평균 상대적 차이는 2.49%로, 전역 최적해의 3% 이내 성능을 달성함을 시사한다.
• 표준 단일 에이전트 DQL은 거의 절반의 경우에서 수렴하지 못하며(최적 정책 비율 55–56%), 평균 상대적 차이가 7.44–9.45%로 나타나 협조하지 않는 다중 에이전트 환경에 부적합함을 입증한다.
• 타겟 네트워크 업데이트 빈도 파라미터 $c$의 값을 크게 설정할 경우 성능 향상이 이루어지며($c=60$ 예시), 평균 상대적 차이는 0.96%로 감소하고 최적 정책 비율은 72%로 증가한다.
• 미니배치 크기는 성능에 미미한 영향을 미치며, 30과 120의 경우 평균 상대적 차이는 각각 2.41%와 3.75%로 유사한 결과를 보인다.
• 각 CR의 보상 함수 하에서도 방법은 강인성을 유지하며(평균 상대적 차이 4.11%), 간섭 결합으로 인해 약간의 최적성에 떨어지지만 완전히 협조하지 않는 배포 환경에서의 타당성을 확인한다.