[논문 리뷰] Deep-Reinforcement Learning Multiple Access for Heterogeneous Wireless Networks

Yiding Yu, Taotao Wang외 1명|arXiv (Cornell University)|2017. 12. 01.

Advanced MIMO Systems Optimization참고 문헌 14인용 수 15

한 줄 요약

이 논문은 이질적인 무선 네트워크(예: TDMA, ALOHA 또는 혼합 프로토콜)와 공존하는 환경에서, 네트워크의 메커니즘을 사전에 알지 못한 채로도 노드가 최적의 스펙트럼 접근 전략을 자율적으로 학습할 수 있도록 하는 MAC 프로토콜인 Deep-Reinforcement Learning Multiple Access (DLMA)를 제안한다. ResNet 아키텍처를 사용한 딥 Q네트워크(DQN)를 활용하여, 엔드 투 엔드 학습을 통해 근사 최적의 합산 처리량과 비례 정당성(fairness)을 달성하며, 빠른 수렴 속도와 하이퍼파라미터 설정에 대한 강건성을 입증한다.

ABSTRACT

This paper investigates the use of deep reinforcement learning (DRL) in a MAC protocol for heterogeneous wireless networking referred to as Deep-reinforcement Learning Multiple Access (DLMA). The thrust of this work is partially inspired by the vision of DARPA SC2, a 3-year competition whereby competitors are to come up with a clean-slate design that "best share spectrum with any network(s), in any environment, without prior knowledge, leveraging on machine-learning technique". Specifically, this paper considers the problem of sharing time slots among a multiple of time-slotted networks that adopt different MAC protocols. One of the MAC protocols is DLMA. The other two are TDMA and ALOHA. The nodes operating DLMA do not know that the other two MAC protocols are TDMA and ALOHA. Yet, by a series of observations of the environment, its own actions, and the resulting rewards, a DLMA node can learn an optimal MAC strategy to coexist harmoniously with the TDMA and ALOHA nodes according to a specified objective (e.g., the objective could be the sum throughput of all networks, or a general alpha-fairness objective).

연구 동기 및 목표

• 이종 무선 네트워크(예: TDMA, ALOHA)와의 동적 공존을 가능하게 하되, 해당 프로토콜의 메커니즘을 사전에 알지 못한 상태에서 수행할 수 있는 MAC 프로토콜을 설계하는 것.
• 동적 실시간 환경에서 강화학습을 통해 최적의 타임슬롯 접근 전략을 자율적으로 학습하는 것.
• 모델 기반 가정 없이도 합산 처리량 최대화 및 비례 정당성 등 일반적인 α-정당성 목표를 달성하는 것.
• 기존 강화학습(RL) 대비 딥 강화학습(DRL)의 수렴 속도 및 하이퍼파라미터 설정에 대한 강건성 측면에서의 우월성을 평가하는 것.
• Q함수를 목적 함수에서 분리함으로써 Q러닝 프레임워크를 일반화하고, 다양한 정당성 지표를 유연하게 최적화할 수 있도록 하는 것.

제안 방법

• 상태-행동 쌍을 Q값으로 매핑하기 위해 딥 Q네트워크(DQN)와 깊이 있는 잔차망(ResNet)을 함수 근사기로 사용한다.
• 표준 DQN 학습 절차를 따르며, 학습 안정성을 높이기 위해 리play 버퍼와 타겟 네트워크를 사용한다.
• Q러닝 목적함수를 재구성함으로써 Q함수와 정당성 목적함수를 분리하여 일반적인 α-정당성 지표 최적화를 가능하게 한다.
• 환경과의 상호작용을 통해 수집된 상태-행동-보상 삼중세트를 사용하여 DRL 에이전트를 학습하며, 상태에는 채널 점유도와 전송 이력이 포함된다.
• Q값 추정의 과도한 추정 오차를 줄이기 위해 듀얼 DQN(Double DQN) 기법을 적용한다.
• 처리량과 정당성 지표를 기반으로 한 보상 함수를 사용하며, 목적은 합산 처리량 또는 비례 정당성 중 하나로 동적으로 조정된다.

실험 결과

연구 질문

• RQ1 DRL 기반 MAC 프로토콜은 시간슬롯 환경에서 알려지지 않은 이종 MAC 프로토콜(TDMA, ALOHA 등)과 효율적으로 공존할 수 있는가?
• RQ2 동적 무선 네트워킹 환경에서 DRL은 기존 RL 대비 수렴 속도와 하이퍼파라미터 설정에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ3 공존 네트워크의 기반 MAC 메커니즘을 알지 못한 채로 DRL 에이전트가 근사 최적의 합산 처리량과 비례 정당성을 얼마나 잘 달성할 수 있는가?
• RQ4 Q함수를 목적 함수에서 분리함으로써 Q러닝 프레임워크를 일반화하여 임의의 α-정당성 목표를 지원할 수 있는가?
• RQ5 기본 DNN 대비 ResNet 아키텍처를 사용할 경우, 다양한 네트워크 환경에서 일반화 성능이 향상되는가?

주요 결과

• DLMA는 TDMA, ALOHA 또는 혼합 네트워크와 공존할 때도 프로토콜 메커니즘을 사전에 알지 못함에도 불구하고 근사 최적의 합산 처리량을 달성한다.
• 다시 구성된 DLMA 프로토콜은 TDMA 및 ALOHA 노드와의 공존에서 비례 정당성을 성공적으로 달성하였으며, 모델 인식 기반 벤치마크 노드와 동일한 성능을 보였다.
• TDMA 한 대와 q-ALOHA 한 대가 포함된 혼합 환경에서, DLMA는 모든 노드의 최적 개별 처리량을 근사하여 효과적인 정당성 균형을 달성하였다.
• 세 대의 DRL 노드가 하나의 BigAgent로 통합되어 TDMA 한 대와 q-ALOHA 두 대와 공존할 경우, Figure 11에서 보듯이 DLMA는 이론적 최적 처리량에 가까운 성능을 달성하였다.
• 기존 RL 대비 DLMA는 더 빠른 수렴 속도를 보이며 비최적 하이퍼파라미터 설정에 대해서도 더 강건하여 변화가 빠른 무선 환경에 적합하다.
• 기본 DNN와 달리, DRL 에이전트에 ResNet 아키텍처를 사용할 경우 네트워크 깊이 조정 없이 다양한 네트워크 환경에서 안정적인 성능을 유지할 수 있다.