[논문 리뷰] Transfer Learning in Multi-Agent Reinforcement Learning with Double Q-Networks for Distributed Resource Sharing in V2X Communication

Hammad Zafar, Zoran Utkovski외 2명|arXiv (Cornell University)|2021. 07. 13.

Transportation and Mobility Innovations참고 문헌 10인용 수 4

한 줄 요약

이 논문은 V2X 네트워크에서 분산 스펙트럼 공유를 위한 전이 학습 강화된 더블 DQN 프레임워크를 제안한다. 더블 Q-학습을 통해 가치 과소평가를 줄이고, 전이 학습을 통해 학습을 가속화한다. 제한된 학습 시간 동안 최대 12% 높은 V2V 전달률과 6% 향상된 V2I 합산 대역폭을 달성하며, 중앙값 전달 시간은 35ms에서 18ms로 감소한다.

ABSTRACT

This paper addresses the problem of decentralized spectrum sharing in vehicle-to-everything (V2X) communication networks. The aim is to provide resource-efficient coexistence of vehicle-to-infrastructure(V2I) and vehicle-to-vehicle(V2V) links. A recent work on the topic proposes a multi-agent reinforcement learning (MARL) approach based on deep Q-learning, which leverages a fingerprint-based deep Q-network (DQN) architecture. This work considers an extension of this framework by combining Double Q-learning (via Double DQN) and transfer learning. The motivation behind is that Double Q-learning can alleviate the problem of overestimation of the action values present in conventional Q-learning, while transfer learning can leverage knowledge acquired by an expert model to accelerate learning in the MARL setting. The proposed algorithm is evaluated in a realistic V2X setting, with synthetic data generated based on a geometry-based propagation model that incorporates location-specific geographical descriptors of the simulated environment(outlines of buildings, foliage, and vehicles). The advantages of the proposed approach are demonstrated via numerical simulations.

연구 동기 및 목표

• V2X 스펙트럼 공유를 위한 다중 에이전트 강화학습(MARL)에서 Q-값 과소평가 문제를 해결한다.
• 사전에 학습된 전문가 모델의 지식을 활용해 MARL 기반 분산 자원 할당의 학습 시간을 단축시킨다.
• 다양한 채널 조건과 네트워크 구조를 가진 동적인 V2X 환경에서 시스템 성능을 향상시킨다.
• 기하학적 기반 V2V 전파 환경을 활용해 실제성 있는 시뮬레이션을 통해 제안된 방법의 성능을 평가하여 시공간 일관성을 확보한다.

제안 방법

• 행동 선택과 가치 추정을 분리함으로써 Q-값 과소평가를 완화하기 위해 더블 DQN(DDQN)을 통합한다.
• 사전에 학습된 전문가 모델의 가중치를 사용해 학습자 모델의 Q-네트워크를 초기화함으로써 전이 학습을 적용한다.
• 전문가 모델과 학습자 모델 간에 동일한 상태, 행동, 보상 공간을 사용하여 정책 전이의 일관성을 확보한다.
• 전문가 모델은 3,000 에피소드 동안 학습하고, 학습자 모델은 단지 1,800 에피소드 동안 학습하여 샘플 효율성을 평가한다.
• 지리적 기초 정보를 포함한 시간에 따라 변화하는 전파 조건을 생성하기 위해 GEMV² 기하학적 채널 모델을 사용한다.
• 지문 기반 DQN 아키텍처를 사용해 V2V 에이전트 간 분산 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 더블 DQN는 MARL 기반 V2X 스펙트럼 공유에서 Q-값 과소평가를 줄여 정책 품질을 향상시킬 수 있는가?
• RQ2 사전에 학습된 전문가 모델에서 전이 학습을 통해 학습자 모델의 학습 기간을 유의미하게 단축시킬 수 있는가?
• RQ3 다양한 패킷 크기와 채널 조건 하에서 제안된 DDQN-TQL 방법의 성능은 표준 DDQN 및 무작위 기준 대비 어떻게 비교되는가?
• RQ4 제한된 학습 시간이 V2X MARL에서 전이 학습과 완전히 새로 학습하는 것의 성능에 미치는 영향은 무엇인가?

주요 결과

• 1,800 에피소드 학습 제한 조건에서 DDQN-TQL은 중앙값 V2V 패킷 전달 시간을 DDQN의 35ms에서 18ms로 줄였다.
• 패킷 크기가 4×1060 바이트일 경우, DDQN-TQL은 DDQN 대비 V2V 전달률에서 12% 향상되고 V2I 합산 대역폭에서 6% 향상되었다.
• 1,800 에피소드로 제한된 학습 조건에서 DDQN-TQL은 표준 DDQN보다 뛰어난 샘플 효율성을 보이며 성능이 뛰어나다.
• 장기적인 학습 기간(예: 3,000 에피소드 이상)에서는 전이 학습 없이 DDQN을 사용할 경우 DDQN-TQL를 초월하며, 이는 전이 학습 설정에서 과적합 가능성의 징후로 나타난다.
• 학습 효율성과 정책 품질이 가장 중요한 고용량 시나리오에서 제안된 방법은 뚜렷한 성능 향상을 보였다.
• GEMV² 모델의 사용은 시간과 공간에 걸쳐 MARL 정책의 실제적이고 일관된 평가를 가능하게 하여 제안된 프레임워크의 강건성을 검증했다.