[논문 리뷰] FRAS: Federated Reinforcement Learning empowered Adaptive Point Cloud Video Streaming

Yu Gao, Pengyuan Zhou외 3명|arXiv (Cornell University)|2022. 07. 15.

Image and Video Quality Assessment인용 수 9

한 줄 요약

FRAS는 포인트 클라우드 비디오를 위한 최초의 피어드 강화학습(FRL) 기반 적응형 스트리밍 프레임워크를 제안하며, 클라이언트 측 강화학습과 피어드 러닝을 통한 글로벌 모델 집합을 통해 경험의 품질(QoE)을 공동 최적화한다. ViVo와 Pensieve와 같은 기준 대비 평균 QoE를 86% 향상시키고 재버퍼링을 67% 감소시키며, 사용자 프라이버시도 유지한다.

ABSTRACT

Point cloud video transmission is challenging due to high encoding/decoding complexity, high video bitrate, and low latency requirement. Consequently, conventional adaptive streaming methodologies often find themselves unsatisfactory to meet the requirements in threefold: 1) current algorithms reuse existing quality of experience (QoE) definitions while overlooking the unique features of point cloud video thus failing to provide optimal user experience, 2) most deep learning approaches require long-span data collections to learn sufficiently varied network conditions and result in long training periods and capacity occupation, 3) cloud training approaches pose privacy risks caused by leakage of user reported service usage and networking conditions. To overcome the limitations, we present FRAS, the first federated reinforcement learning framework, to the best of our knowledge, for adaptive point cloud video streaming. We define a new QoE model which takes the unique features of point cloud video into account. Each client uses reinforcement learning (RL) to train video quality selection with the objective of optimizing the user's QoE under multiple constraints. Then, a federated learning framework is integrated with the RL algorithm to enhance training performance with privacy preservation. Extensive simulations using real point cloud videos and network traces reveal the superiority of the proposed scheme over baseline schemes. We also implement a prototype that demonstrates the performance of FRAS via real-world tests.

연구 동기 및 목표

• 포인트 클라우드 비디오의 고비트레이트, 디코딩 복잡도, 6DoF 이동성과 같은 고유한 과제를 감안한 적응형 스트리밍 솔루션의 부족을 해결한다.
• 시야 위치, 방향, 디코딩 비용과 같은 포인트 클라우드 특화 기능을 반영하지 못하는 기존 QoE 모델의 한계를 극복한다.
• 딥러닝 기반 적응형 스트리밍에서 요구하는 장기간의 훈련 및 데이터 수집 문제를 분산 클라이언트 데이터를 활용해 완화한다.
• 중앙 집중식 데이터 수집을 피하고 피어드 러닝을 통해 모델 업데이트를 안전하게 집계함으로써 사용자 프라이버시를 보호한다.
• 동적 네트워크 및 장치 제약 조건 하에서 비디오 품질, 대역폭 사용량, 재버퍼링을 공동 최적화하는 엔드 투 엔드 프레임워크를 개발한다.

제안 방법

• 시야 위치, 방향, 디코딩 복잡도, 품질 수준을 포함한 새로운 포인트 클라우드 비디오 QoE 모델을 정의한다.
• X, Z, 요, 피치 차원에서 사용자 시야 범위(FoV) 이동을 정확하고 저비용으로 예측하기 위해 선형 회귀를 사용한다.
• 저비용 계산으로도 효율적이고 정확한 네트워크 대역폭 예측을 위해 지수 이동 평균(EWMA)을 활용한다.
• 자원 제약 조건 하에서 사용자 QoE를 최대화하기 위해 클라이언트 측 강화학습(RL)을 활용해 각 타일의 최적 비디오 품질 수준을 선택한다.
• 다양한 클라이언트의 로컬 RL 정책 업데이트를 글로벌 모델로 집계하기 위해 피어드 러닝을 통합하여 일반화 능력을 향상시키고 데이터 프라이버시를 유지한다.
• 로컬 RL 업데이트와 주기적 집계를 조합하여 글로벌 FRL 모델을 훈련하며, 데이터 이질성에 대응하기 위해 하이퍼파라미터 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 6DoF 시야 및 변동하는 디코딩 복잡도와 같은 포인트 클라우드 비디오의 고유한 특성을 반영할 수 있는 QoE 모델은 어떻게 설계할 수 있는가?
• RQ2 피어드 강화학습이 사용자 프라이버시를 보존하면서도 포인트 클라우드 비디오의 적응형 스트리밍 성능을 효과적으로 향상시킬 수 있는가?
• RQ3 다양한 FoV 및 대역폭 예측 방법은 적응형 포인트 클라우드 스트리밍 성능에 어떤 영향을 미치는가?
• RQ4 이질적인 클라이언트 데이터를 가진 피어드 RL 환경에서 로컬 훈련 에포크 수와 글로벌 집계 빈도 사이의 최적 균형은 무엇인가?
• RQ5 제안된 FRL 기반 프레임워크는 QoE, 비디오 품질, 재버퍼링 측면에서 기존의 적응형 스트리밍 알고리즘보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• FRAS는 ViVo 대비 평균 QoE(보상)를 86% 향상시키고, robustMPC 대비 76%, Buffer-Based 대비 68%, Pensieve 대비 25%, QUETRA 대비 22% 향상시켰다.
• FRAS는 모든 기준 대비 평균 비디오 품질 수준을 22%에서 28% 향상시켰으며, QUETRA와 BB에서 가장 높은 성과를 기록했다.
• FRAS는 평균 PSNR를 5%에서 6% 향상시켜 더 나은 시각적 품질을 제공했고, 대역폭을 4%에서 11% 더 효율적으로 사용했다.
• FRAS는 QUETRA 대비 평균 재버퍼링 시간을 67% 감소시켰고, robustMPC 대비 56%, BB 대비 33%, ViVo 대비 11% 감소시켜 더 나은 대역폭 활용도를 보였다.
• FRL 훈련 과정은 기준 Pensieve RL 모델 대비 9.77% 높은 보상과 49.81% 낮은 손실로 수렴했다.
• 실세계 프로토타입 테스트는 FRAS가 포인트 클라우드 비디오 시퀀스에서 가장 높은 시각적 품질을 제공함을 확인하여 실용성과 우수성을 입증했다.