[논문 리뷰] Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning

Le Liang, Hao Ye외 1명|arXiv (Cornell University)|2019. 05. 08.

Vehicular Ad Hoc Networks (VANETs)참고 문헌 32인용 수 12

한 줄 요약

이 논문은 차량 간 통신(V2V) 링크가 사전 할당된 차량-인프라(V2I) 링크와 공존하는 차량 네트워크에서 분산 스펙트럼 공유를 가능하게 하기 위해 지문 기반 딥 Q-네트워크를 사용하는 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 이 방법은 공동 보상 신호를 통해 분산 학습을 실현함으로써 협업적 스펙트럼 및 전력 할당을 달성하여 V2I 합성 용량과 V2V 패킷 전달률을 크게 향상시킨다.

ABSTRACT

This paper investigates the spectrum sharing problem in vehicular networks based on multi-agent reinforcement learning, where multiple vehicle-to-vehicle (V2V) links reuse the frequency spectrum preoccupied by vehicle-to-infrastructure (V2I) links. Fast channel variations in high mobility vehicular environments preclude the possibility of collecting accurate instantaneous channel state information at the base station for centralized resource management. In response, we model the resource sharing as a multi-agent reinforcement learning problem, which is then solved using a fingerprint-based deep Q-network method that is amenable to a distributed implementation. The V2V links, each acting as an agent, collectively interact with the communication environment, receive distinctive observations yet a common reward, and learn to improve spectrum and power allocation through updating Q-networks using the gained experiences. We demonstrate that with a proper reward design and training mechanism, the multiple V2V agents successfully learn to cooperate in a distributed way to simultaneously improve the sum capacity of V2I links and payload delivery rate of V2V links.

연구 동기 및 목표

• 정확한 채널 상태 정보를 확보하기 어려운 고속 이동 차량 네트워크에서의 동적 스펙트럼 접근 문제를 해결한다.
• V2V 링크가 간섭 관리를 통해 V2I 스펙트럼을 재사용할 수 있도록 함으로써 V2I 및 V2V 링크 간의 효율적 공존을 가능하게 한다.
• 중앙 집중적 조율 없이도 V2I 합성 용량과 V2V 패킷 전달률을 향상시킬 수 있는 분산 자원 할당 메커니즘을 설계한다.
• 다중 에이전트 강화학습에서 발생하는 비정상성 문제를 지문 기반 DQN 접근법을 통해 극복한다.

제안 방법

• 각 V2V 링크를 독립된 에이전트로 간주하여 스펙트럼 공유 문제를 다중 에이전트 강화학습(MARL) 문제로 모델링한다.
• 유일한 에이전트 특성을 Q-네트워크 입력에 통합하여 독립 Q-학습에서 발생하는 비정상성 문제를 완화하고 학습을 안정화시키기 위해 지문 기반 딥 Q-네트워크(DQN)를 사용한다.
• 샘플 효율성과 학습 안정성을 향상시키기 위해 우선순위 기반 경험 샘플링을 포함한 경험 재생을 구현한다.
• V2I 합성 용량과 V2V 패킷 전달률을 동시에 최적화하는 공통 보상 함수를 설계하여 에이전트 간 협업을 유도한다.
• 학습 과정을 중앙 집중적 학습 단계와 분산 추론 단계로 분리하여 실시간 차량 네트워크 환경에서의 확장 가능한 구현을 가능하게 한다.
• 실제 V2X 지연 제약 조건을 반영하기 위해 고정된 패킷 크기(2,120 바이트)와 시간 제약이 있는 에피소드 기반 학습 기법을 사용하여 성능를 평가한다.

실험 결과

연구 질문

• RQ1 분산형 MARL 프레임워크는 V2I 링크와 함께 스펙트럼을 공유하면서도 V2I 및 V2V 성능을 향상시킬 수 있는가?
• RQ2 지문 기반 DQN 방법은 동적 차량 네트워크 환경에서 다중 에이전트 Q-학습의 비정상성 문제를 어떻게 완화하는가?
• RQ3 제안된 MARL 기법은 무작위 스펙트럼 접근 대비 V2V 패킷 전달 신뢰도를 어느 정도 향상시키는가?
• RQ4 보상 설계는 스펙트럼 및 전력 할당 측면에서 V2V 에이전트 간 협업에 어떤 영향을 미치는가?
• RQ5 고속 이동 및 빠른 fading 채널 조건 하에서 MARL 접근법의 수렴 동작과 성능 향상 정도는 어떠한가?

주요 결과

• 제안된 MARL 방법은 약 2,000개의 학습 에피소드 후 스펙트럼 및 전력 할당에서 수렴을 달성하였으며, 3,000 에피소드 이후 성능가 안정화되었다.
• 시간 제약이 있는 100 ms 에피소드 동안, MARL 기반 기법은 모든 링크에서 V2V 패킷(2,120 바이트)을 100% 성공적으로 전달했으며, 무작위 기반 대비 한 V2V 링크에서 실패가 발생했다.
• MARL 기법에서 V2V 링크 4는 유리한 채널 조건을 이용해 조기에 전달을 완료했고, 다른 링크들은 약한 링크를 보호하기 위해 전송 속도를 조정했다.
• MARL 기법은 V2V 링크 2와 3가 번갈아가며 전송함으로써 효율적으로 패킷을 전달하는 협업 전략을 실현했다.
• 무작위 기반 대비, 링크의 채널 조건이 열 劣한 경우를 보호하지 못해 V2V 패킷 전달 실패 비율이 높게 나타났다.
• MARL 기반 기법은 취약한 링크에 대해 더 높은 순간 전송 속도를 제공했고, 무작위 기반 대비 더 뛰어난 전체 스펙트럼 효율성을 확보했다.