[논문 리뷰] Learning in situ: a randomized experiment in video streaming

Francis Y. Yan, Hudson Ayers외 6명|arXiv (Cornell University)|2019. 06. 03.

Image and Video Quality Assessment참고 문헌 43인용 수 39

한 줄 요약

이 논문은 실제 세계의 비디오 스트리밍 플랫폼(Puffer)에서 ABR 알고리즘의 무작위 대조 trial을 보고하며, 학습된 예측기 기반 MPC(Fugu)가 전통적 스킴보다 우수할 수 있음을 보이나, 전체 이득은 네트워크의 무거운 꼬리 현상으로 인해 매우 변동성이 크고 탐지하기 어렵다고 주장하며, 견고한 학습 ABR을 위해 현장 학습과 공개 데이터를 권장한다.

ABSTRACT

We describe the results of a randomized controlled trial of video-streaming algorithms for bitrate selection and network prediction. Over the last eight months, we have streamed 14.2 years of video to 56,000 users across the Internet. Sessions are randomized in blinded fashion among algorithms, and client telemetry is recorded for analysis. We found that in this real-world setting, it is difficult for sophisticated or machine-learned control schemes to outperform a "simple" scheme (buffer-based control), notwithstanding good performance in network emulators or simulators. We performed a statistical analysis and found that the variability and heavy-tailed nature of network and algorithm behavior create hurdles for robust learned algorithms in this area. We developed an ABR algorithm that robustly outperforms other schemes in practice, by combining classical control with a learned network predictor, trained with supervised learning in situ on data from the real deployment environment. To support further investigation, we are publishing an archive of traces and results each day, and will open our ongoing study to the community. We welcome other researchers to use this platform to develop and validate new algorithms for bitrate selection, network prediction, and congestion control.

연구 동기 및 목표

• Learned ABR 알고리즘의 실제 인터넷 조건에서의 견고성 평가.
• 전통적인 버퍼 기반 제어와 모델 기반 예측 제어를 학습 기반 접근법과 비교.
• ABR 성능에 대한 학습 데이터 현실성의 영향 평가.
• 현장 학습으로 baselines를 실제로 능가하는 ABR 알고리즘 개발.
• 트레이스의 공개 공유를 촉진하고 커뮤니티 검증 가능성을 높인다.

제안 방법

• Puffer를 배포하고 14.2 years의 비디오를 56k 사용자에게 스트리밍하며 세션은 ABR 알고리즘에 무작위로 할당된다.
• 서버 측 ABR 제어 루프에서 BBA, MPC-HM, RobustMPC-HM, Pensieve, 및 Fugu를 구현하고 비교한다.
• 정지 비율, SSIM, SSIM 변동 및 현장 체류 시간을 평가하기 위해 SSIM 기반 목적 함수를 사용하고 7개월의 블라인드 무작위 시험을 수행한다.
• Fugu는 MPC와 현장 배포 데이터로 학습된 신경망 Transmission Time Predictor를 결합한다.
• TTP는 청크 크기에 대한 분포로 전송 시간을 예측하며 Puffer 트레이스로부터의 감독 학습으로 매일 학습된다.
• Abalation 연구는 TTP 입력, 확률적 출력, 및 신경망의 필요성을 보여준다.

실험 결과

연구 질문

• RQ1 학습된 ABR 접근법이 실제 인터넷 배포에서 단순 버퍼 기반 제어를 의미 있게 능가할 수 있는가.
• RQ2 현실 세계 데이터의 변동성이 모의/시뮬레이션 결과와 비교하여 학습 ABR 스킴의 신뢰성에 어떤 영향을 미치는가.
• RQ3 MPC 프레임워크 내에서 신경망 예측기의 현장 학습이 다양한 네트워크 경로에서 견고한 이득을 제공하는가.
• RQ4 실제 QoE 지표(정지, SSIM, SSIM 변동)에서 어떤 제어 이론과 데이터 기반 예측의 조합이 최상의 결과를 제공하는가?

주요 결과

알고리즘	Time stalled (lower is better)	Mean SSIM (higher is better)	SSIM variation (lower is better)	Mean duration (time on site)
Fugu	0.12%	16.9 dB	0.68 dB	32.6 min
MPC-HM	0.25%	16.8 dB	0.72 dB	27.9 min
BBA	0.19%	16.8 dB	1.03 dB	29.6 min
Pensieve	0.17%	16.5 dB	0.97 dB	28.5 min
RobustMPC-HM	0.10%	16.2 dB	0.90 dB	27.4 min

• 블라인드된 7개월 시험에서 458,801개의 스트림 중 Fugu가 다른 스킴보다 정지 시간, SSIM, SSIM 변동에서 이점을 보였으며 단 한 가지 예외(RobustMPC-HM)만 제외했다.
• 2.5시간 이상 세션에서 Fugu에 randomly 할당된 사용자는 평균적으로 스트림을 10–20% 더 오래 시청했다.
• 스킷 간의 정지 시간은 Fugu가 0.12%로 최저였고 다른 스킴과의 비교에서도 우수하거나 유사했다(0.25% MPC-HM, 0.19% BBA, 0.17% Pensieve, 0.10% RobustMPC-HM).
• 평균 SSIM은 Fugu가 가장 높았고(16.9 dB) 경로별로 차이가 있었다(RobustMPC-HM 16.2 dB, Pensieve 16.5 dB).
• MPC/RobustMPC 기반 스킴은 전통적 예측기를 사용한 반면, Fugu의 TTP는 확률적이고 크기 인식 전송 시간 예측을 제공하여 더 나은 QoE를 이끌었다.
• 네트워크의 무거운 꼬리 현상으로 인해 큰 샘플이 필요하고, 작은 이득을 탐지하기 어렵다는 큰 통계적 불확실성을 강조한다.