[논문 리뷰] Real-world Video Adaptation with Reinforcement Learning

Hongzi Mao, Shannon Chen외 6명|arXiv (Cornell University)|2020. 08. 28.

Image and Video Quality Assessment참고 문헌 32인용 수 44

한 줄 요약

이 논문은 Facebook의 생산 웹 플랫폼에 배치된 RL 기반 적응 비트레이트 시스템 ABRL를 제시하며, 맞춤형 네트워크 인식 아키텍처, 분산-감소 훈련, 그리고 제한된 베이지안 최적화를 통해 실제 운영상의 도전에 대응하고 수작업으로 조정된 ABR 정책을 능가합니다.

ABSTRACT

Client-side video players employ adaptive bitrate (ABR) algorithms to optimize user quality of experience (QoE). We evaluate recently proposed RL-based ABR methods in Facebook's web-based video streaming platform. Real-world ABR contains several challenges that requires customized designs beyond off-the-shelf RL algorithms -- we implement a scalable neural network architecture that supports videos with arbitrary bitrate encodings; we design a training method to cope with the variance resulting from the stochasticity in network conditions; and we leverage constrained Bayesian optimization for reward shaping in order to optimize the conflicting QoE objectives. In a week-long worldwide deployment with more than 30 million video streaming sessions, our RL approach outperforms the existing human-engineered ABR algorithms.

연구 동기 및 목표

• 현실 세계의 대규모 스트리밍에서 휴리스틱 정책을 능가할 수 있는 생산 등급 ABR 알고리즘의 개발 동기를 제시한다.
• 임의의 비트레이트 인코딩을 지원하는 확장 가능한 RL 아키텍처를 개발한다.
• 확률적 네트워크 조건과 성능 피드백의 분산에 대처하기 위한 학습 방법을 설계한다.
• 제약 최적화와 보상 형상을 통해 다중 QoE 목표를 공동 최적화한다.
• 학습된 정책을 해석 가능한 형태로 번역하여 안전한 프런트엔드 배포를 가능하게 한다.

제안 방법

• 재생 버퍼 다이나믹스를 모델링하고 청크별 네트워크 및 비트레이트 데이터를 로그하는 시뮬레이터를 구축한다.
• 퍼-비트레이트 우선순위를 출력하는 신경망 정책과 비트레이트 간 소프트맥스를 갖는 정책-그래디언트 RL 프레임워크를 사용한다.
• 입력 의존 기저선을 적용하여 네트워크 트레이스와 시청 시간의 무작위성으로 인한 보상 분散을 줄인다.
• 보상 형상을 가우시안 프로세스 대리 모델과 Noisy Expected Improvement를 활용한 제약 다목적 최적화로 공식화한다.
• 학습된 신경 정책을 프런트엔드 배치를 위한 해석 가능한 선형 모델로 번역한다.
• 번역된 정책을 Facebook의 생산 플랫폼에 배치하고 약 3000만 세션 규모의 A/B 테스트로 평가한다.

실험 결과

연구 질문

• RQ1 RL 기반 ABR 정책이 대규모 생산 환경에서 기존의 휴리스틱 ABR 알고리즘을 능가할 수 있는가?
• RQ2 다양한 네트워크 트레이스와 비디오 기간에 대해 ABR 정책을 어떻게 강건하게 학습시킬 수 있는가?
• RQ3 생산 환경에서 안정적인 RL 학습을 가능하게 하는 보상 형상 및 분산 감소 기법은 무엇인가?
• RQ4 배운 정책을 해석 가능한 형태로 번역하는 것이 배포 안전성 및 유지 관리에 미치는 영향은 무엇인가?

주요 결과

• ABRL은 생산 ABR 정책에 비해 평균 비트레이트를 1.6% 증가시켰다.
• ABRL은 일주일간의 전 세계 배포에서 평균적으로 스톨(stall) 비율을 0.4% 감소시켰다.
• 저속 네트워크 조건에서 ABRL은 비트레이트를 5.9% 더 높게 제공했고 스톨은 2.4% 더 적었다.
• 입력 의존 기저선을 통한 분산 감소로 총 보상이 약 12% 향상되고 수렴 속도가 빨라졌다.
• 정책을 선형 모델로 번역하는 것이 시뮬레이션에서 스톨이 약 0.8% 악화되고 품질이 약 0.6% 악화되는 비용을 수반했으며, 이는 해석 가능성과 안전성을 위한 트레이드오프를 반영한다.