[논문 리뷰] Deep Reinforcement Learning based Resource Allocation for V2V Communications

Hao Ye, Geoffrey Ye Li외 1명|arXiv (Cornell University)|2018. 05. 16.

Vehicular Ad Hoc Networks (VANETs)참고 문헌 15인용 수 27

한 줄 요약

이 논문은 차량 간(V2V) 통신을 위한 탈중앙화된 딥 강화학습(DRL) 기반 자원 할당 프레임워크를 제안하며, 유니캐스트 및 브로드캐스트 시나리오에서 모두 서브밴드 및 전력 선택을 종합적으로 최적화한다. 이 방법은 각 V2V 링크가 최소한의 오버헤드로 최적의 전송 파arameter를 자율적으로 학습할 수 있게 하여, 무작위 및 히우리스틱 기반 기준 대비 지연 시간 준수 성능을 크게 향상시키고 V2I 링크에 대한 간섭을 감소시킨다.

ABSTRACT

In this paper, we develop a decentralized resource allocation mechanism for vehicle-to-vehicle (V2V) communications based on deep reinforcement learning, which can be applied to both unicast and broadcast scenarios. According to the decentralized resource allocation mechanism, an autonomous agent', a V2V link or a vehicle, makes its decisions to find the optimal sub-band and power level for transmission without requiring or having to wait for global information. Since the proposed method is decentralized, it incurs only limited transmission overhead. From the simulation results, each agent can effectively learn to satisfy the stringent latency constraints on V2V links while minimizing the interference to vehicle-to-infrastructure (V2I) communications.

연구 동기 및 목표

• 고속 이동 환경에서의 엄격한 지연 시간 및 신뢰성 요구사항을 충족하는 데 도전하는 것.
• 전체 채널 상태 정보가 필요로 하는 중앙집중식 자원 할당 방법의 확장성 및 오버헤드 한계를 극복하는 것.
• 각 V2V 링크가 독립적으로 최적의 서브밴드 및 전력 할당을 학습할 수 있는 탈중앙화되고 자율적인 메커니즘 개발.
• 동적 차량 환경에서 V2V 지연 시간 제약을 동시에 충족시키고 공존하는 V2I 링크에 대한 간섭을 최소화하는 것.
• 딥 강화학습을 활용하여 유니캐스트 및 브로드캐스트 V2V 통신 시나리오 모두에서 효과적인 자원 관리 구현.

제안 방법

• 서브밴드 및 전력 수준 선택을 위한 상태-행동 가치 추정을 위해 듀얼링 아키텍처를 가진 딥 Q넷(DQN)을 활용한다.
• 결정을 안내하기 위해 국지적 채널 조건, 간섭 수준 및 지연 시간 제약을 조합한 상태 표현을 사용한다.
• DRL 프레임워크에서 학습 안정성 향상과 수렴성 향상을 위해 경험 재현 및 타겟 네트워크를 적용한다.
• 정책 학습을 위해 적응형 학습률과 Adam 최적화를 사용하는 ε-그리디 탐색을 구현한다.
• 각 V2V 링크가 독립된 에이전트로서 자신의 전송 전략을 최적화하는 마르코프 결정 과정(MDP)으로 자원 할당을 간주한다.
• 기존 연구와 달리 브로드캐스트 모드에서 스케줄링과 채널 선택을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 DRL 기반 접근법은 전반적인 네트워크 정보에 의존하지 않고 엄격한 V2V 지연 시간 제약을 효과적으로 충족시킬 수 있는가?
• RQ2 제안된 DRL 방법은 V2I 간섭 완화 측면에서 무작위 및 히우리스틱 기반 자원 할당 방식과 비교해 어떻게 성능을 냅니다?
• RQ3 DRL 에이전트는 고속 이동 환경에서 신뢰할 수 있는 V2V 링크를 유지하기 위해 서브밴드 선택과 전력 적응을 얼마나 잘 균형 잡을 수 있는가?
• RQ4 성공적인 메시지 전달 확률 및 V2I 용량 측면에서 DRL 기반 방법은 기존 브로드캐스트 프로토콜보다 뛰어나게 성능을 발휘하는가?
• RQ5 DRL 프레임워크는 일관된 성능 향상을 보이며 유니캐스트 및 브로드캐스트 V2V 통신 시나리오 모두에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 DRL 방법은 무작위 및 [14] 방법보다 V2V 지연 시간 제약(100 ms)을 충족시키는 확률이 뚜렷이 높으며, 차량 수가 증가할수록 더욱 두드러진다.
• 유니캐스트 시나리오에서 DRL 기반 방법은 [14] 히우리스틱 방법보다 V2I 링크에 대한 간섭을 더 효과적으로 줄여 V2I 합산 용량을 높인다.
• 브로드캐스트 시나리오에서 DRL 방법은 타겟 차량 전부에게 메시지를 전달하는 성공률가 p-퍼시스턴스 프로토콜보다 높다.
• DRL 에이전트는 지연 시간 제약 위반 위험이 있는 링크를 우선순위로 삼아 전력 및 서브밴드 할당을 동적으로 조정하는 것을 학습한다.
• 차량 밀도 변화에 관계없이 안정적인 성능을 유지하여 대규모 차량 네트워크에서의 강건성과 확장성을 입증한다.
• V2I 용량과 V2V 지연 시간 준수 성능 측면에서 DRL 기반 접근법은 무작위 할당 및 [14] 방법을 모두 능가하여 간섭 관리 및 QoS 제공 측면에서 우월함을 확인한다.