[논문 리뷰] Towards V2I Age-aware Fairness Access: A DQN Based Intelligent Vehicular Node Training and Test Method

Qiong Wu, Shuai Shi외 4명|arXiv (Cornell University)|2022. 08. 02.

Age of Information Optimization인용 수 5

한 줄 요약

이 논문은 V2I 네트워크에서 지능형 차량 노드가 동적으로 최적의 최소 경쟁 창문(MCW) 설정을 학습하고 예측하기 위해 DQN 기반 강화학습 방법을 제안한다. 이 방법은 데이터 연령을 최소화하면서도 프라이버시를 존중함으로써 나이 인식 형평성을 달성한다. 특히 비정상적이고 동적인 상황에서 차량 행동이 알려지지 않은 복잡한 환경에서도 기준선 프로토콜에 비해 나이 형평성 유용도가 크게 향상된다.

ABSTRACT

Vehicles on the road exchange data with base station (BS) frequently through vehicle to infrastructure (V2I) communications to ensure the normal use of vehicular applications, where the IEEE 802.11 distributed coordination function (DCF) is employed to allocate a minimum contention window (MCW) for channel access. Each vehicle may change its MCW to achieve more access opportunities at the expense of others, which results in unfair communication performance. Moreover, the key access parameters MCW is the privacy information and each vehicle are not willing to share it with other vehicles. In this uncertain setting, age of information (AoI) is an important communication metric to measure the freshness of data, we design an intelligent vehicular node to learn the dynamic environment and predict the optimal MCW which can make it achieve age fairness. In order to allocate the optimal MCW for the vehicular node, we employ a learning algorithm to make a desirable decision by learning from replay history data. In particular, the algorithm is proposed by extending the traditional DQN training and testing method. Finally, by comparing with other methods, it is proved that the proposed DQN method can significantly improve the age fairness of the intelligent node.

연구 동기 및 목표

• 차량이 MCW를 사적인 방식으로 자율적으로 조정함으로써 발생하는 동적 V2I 네트워크에서의 불공평한 채널 접근 문제를 해결하기 위해.
• 전통적인 대역폭이나 지연 시간이 아닌, 정보의 나이(AoI)를 핵심 지표로 사용하여 데이터 신선도를 향상시키기 위해.
• 개인적인 MCW 값 공유 없이 현지 관측치로부터 최적의 MCW 설정을 학습하는 지능형 차량 노드를 설계하기 위해.
• 장기적인 형평성 유용도를 극대화하는 강화학습 프레임워크를 구성함으로써 나이 형평성을 달성하기 위해.
• 다양한 차량 밀도, 도착률, 네트워크 복잡성 조건에서 제안된 방법을 평가하기 위해.

제안 방법

• 순차적 관측치로부터 학습을 안정화하기 위해 복원 기억과 경험 복원을 통합함으로써 기존의 딥 Q-네트워크(DQN) 학습 및 테스트를 확장한다.
• 차량 밀도와 채널 경쟁 수준 등의 현지 네트워크 관측치를 기반으로 상태 공간을 정의한다.
• 접근 빈도를 제어하기 위해 이산적인 MCW 값(예: 32, 64, 128, 256, 512)을 액션 공간으로 설정한다.
• 높은 AoI에 대해 징벌을 주고 차량 간 데이터 신선도의 균형을 증진함으로써 나이 형평성을 장려하는 보상 함수를 설계한다.
• 실시간 프로토콜 시뮬레이션을 사용하여 동적 V2I 환경에서 DRL 모델을 훈련하기 위한 나이 데이터셋을 생성한다.
• 과도한 추정 오차를 줄이고 학습 중 정책 안정성을 향상시키기 위해 듀얼 DQN 방식을 활용한다.

실험 결과

연구 질문

• RQ1 DQN 기반 에이전트는 프라이버시를 보존하면서도 동적 V2I 환경에서 최적의 MCW 설정을 학습하여 나이 형평성을 향상시킬 수 있는가?
• RQ2 제안된 방법은 차량 도착 및 퇴장률이 변할 경우 어떻게 성능을 발휘하는가?
• RQ3 나이 형평성 유용도 측면에서 고정 MCW, 규칙 기반, 기준선 RL 방법과 비교해 모델 성능은 어떠한가?
• RQ4 다양한 MCW 상태를 포함하는 복잡한 네트워크 시나리오에 대해 모델의 적응 능력은 어느 정도인가?
• RQ5 다양한 네트워크 밀도와 상태 전이 확률 조건에서도 이 방법은 높은 형평성 유용도를 유지할 수 있는가?

주요 결과

• 간단한 차량 시나리오에서는 제안된 DQN 방법이 SP, DT 및 기준선 방법보다 높은 나이 형평성 유용도를 달성한다. 특히 MCW가 64로 설정된 경우 두드러진다.
• MCW = 64일 경우, MCW = 128보다 나이 형평성 유용도가 더 높다. 이는 낮은 MCW 값이 지능형 노드의 접근 기회를 증가시키기 때문이다.
• MCW 상태 공간이 크고 복잡한 시나리오(32–512)에서는 DQN 방법이 DT 및 SP 방법을 능가하며, 높은 불확실성(ps = 0.75) 조건에서도 최적의 유용도에 가까운 성능을 보인다.
• 최적 정책과 DQN 방법 간의 성능 격차는 합리적이며, 부분 관측 조건에서도 효과적인 학습이 이루어졌음을 시사한다.
• DT 방법은 복잡한 시나리오에서 일반화 능력이 떨어져 성능이 크게 악화되며, 때로는 표준 프로토콜보다도 열 劣한 성능을 보이기도 한다.
• SP 방법은 MCW 설정이 변화하더라도 성능 향상이 거의 없어 고정된 MCW 설정이 동적 조건에 적응하지 못함을 확인한다. 반면 DQN 방법은 다양한 네트워크 상태에서 일관된 형평성을 유지한다.