[논문 리뷰] Vehicular cooperative perception through action branching and federated reinforcement learning

Mohamed K. Abdel-Aziz, Cristina Perfecto외 3명|arXiv (Cornell University)|2022. 01. 01.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 65

한 줄 요약

이 논문은 V2V 네트워크에서 3D 라이다 포인트 클라우드의 퀼리트리 기반 인식을 활용하여 차량 연합, 리소스 블록 할당, 압축된 포인트 클라우드 콘텐츠 선택을 종합적으로 최적화하는 피어드 텐서리얼 강화학습 프레임워크를 제안한다. 액션 분기와 피어드 학습을 활용함으로써, 비학습된 에이전트에 비해 더 낮은 전송 속도에서도 최대 60% 높은 보상 수익을 달성하는 확장 가능하고 효율적인 협동 인식을 가능하게 한다.

ABSTRACT

Cooperative perception plays a vital role in extending a vehicle’s sensing range beyond its line-of-sight. However, exchanging raw sensory data under limited communication resources is infeasible. Towards enabling an efficient cooperative perception, vehicles need to address the following fundamental question: What sensory data needs to be shared? at which resolution? and with which vehicles? To answer this question, in this paper, a novel framework is proposed to allow reinforcement learning (RL)-based vehicular association, resource block (RB) allocation, and content selection of cooperative perception messages (CPMs) by utilizing a quadtree-based point cloud compression mechanism. Furthermore, a federated RL approach is introduced in order to speed up the training process across vehicles. Simulation results show the ability of the RL agents to efficiently learn the vehicles’ association, RB allocation, and message content selection while maximizing vehicles’ satisfaction in terms of the received sensory information. The results also show that federated RL improves the training process, where better policies can be achieved within the same amount of time compared to the non-federated approach.

연구 동기 및 목표

• 제한된 무선 자원 하에서 효율적인 차량 간 협동 인식을 해결하기 위해.
• 협동 인식 메시지(CPM)의 차량 연합, 리소스 블록 할당, 콘텐츠 선택을 종합적으로 최적화하기 위해.
• 라이다 포인트 클라우드의 퀄리트리 기반 압축을 통해 통신 오버헤드를 줄이기 위해.
• 피어드 강화학습을 통해 강화학습 에이전트의 학습을 가속화하고 향상시키기 위해.
• 대역폭과 해상도 제약을 고려하면서도 수신된 감지 정보에 대한 차량의 만족도를 최대화하기 위해.

제안 방법

• 3D 라이다 포인트 클라우드를 점유, 비점유, 또는 불확실 상태를 나타내는 공간 블록으로 압축하기 위해 퀄리트리 분해를 적용한다.
• 차량 연합, RB 할당, CPM 콘텐츠 선택을 위한 연합 행동 공간을 갖는 다중에이전트 마르코프 결정 과정으로 협동 인식 문제를 모델링한다.
• 가치 함수와 이득 함수를 분리함으로써 큰 행동 공간을 효율적으로 처리하기 위해 이중 및 분기 Q네트워크(BDQ)를 도입한다.
• 원시 데이터를 공유하지 않으면서도 공동으로 차량을 학습시켜 수렴성과 정책 품질을 향상시키기 위해 피어드 강화학습을 적용한다.
• 학습을 이끌기 위해 인식 영역(ROI) 품질과 만족도 지표를 기반으로 한 보상 함수를 사용한다.
• 중앙집중식 RSU 에이전트가 차량 연합과 자원 할당을 조율하고, 차량들은 분산형 에이전트로 작동한다.

실험 결과

연구 질문

• RQ1 엄격한 통신 및 대역폭 제약 조건 하에서 차량 간 협동 인식을 어떻게 최적화할 수 있는가?
• RQ2 큰 행동 공간이 협동 인식에서 딥 강화학습의 확장성과 성능에 미치는 영향은 무엇인가?
• RQ3 피어드 강화학습은 차량 간 협동 인식 시스템에서 학습 효율성과 정책 품질을 향상시킬 수 있는가?
• RQ4 퀄리트리 기반 압축은 데이터 감소와 인식 품질 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 학습된 RL 에이전트가 CPM 콘텐츠 선택에서 오라클 정책의 성능을 어느 정도 재현할 수 있는가?

주요 결과

• BDQ 에이전트는 큰 행동 공간(L=5)에서도 안정적인 학습을 달성했지만, 표준 DQN은 계산적으로 비가능하여 실패했다.
• 피어드 RL은 수렴성을 향상시켜, 비피어드 학습과 동일한 시간 내에 더 나은 정책을 학습시킬 수 있었다.
• N=4일 때, 동일한 전송 속도에서 학습된 에이전트가 비학습된 에이전트보다 평균 차량 보상에서 최대 60% 높은 성능을 보였다.
• N=6일 때, 학습된 에이전트는 동일한 전송 속도에서 비학습된 에이전트보다 40% 높은 보상을 달성했다.
• 학습된 에이전트와 오라클 간의 성능 격차는 작았으며, 이는 거의 최적의 CPM 콘텐츠 선택을 의미한다.
• 차량 보상의 CCDF 분석 결과, 모든 N 값과 전송 속도 범위에서 학습된 에이전트가 랜덤 행동 선택에 비해 일관되게 뛰어난 성능을 보였다.