[논문 리뷰] Delay-Sensitive and Power-Efficient Quality Control of Dynamic Video Streaming using Adaptive Super-Resolution

Minseok Choi, Won Joon Yun외 1명|arXiv (Cornell University)|2021. 10. 12.

Image and Video Quality Assessment참고 문헌 53인용 수 4

한 줄 요약

이 논문은 전송기에서 비디오 청크를 적응적으로 압축하고 수신기에서 적응형 슈퍼해상도(SR) 네트워크를 사용함으로써 비디오 품질, 버퍼링, 자원 사용을 공동 최적화하는 지연 민감하고 전력 효율적인 비디오 스트리밍 시스템을 제안한다. 네트워크 및 장치 상태에 따라 압축 속도와 SR 네트워크 깊이를 동적으로 조정함으로써, 비적응형 또는 비협력적 방법에 비해 지연, 전력 소비, CPU 사용량을 감소시키면서도 뛰어난 서비스 품질을 달성한다.

ABSTRACT

In a decade, the adaptive quality control of video streaming and the super-resolution (SR) technique have been deeply explored. As edge devices improved to have exceptional processing capability than ever before, streaming users can enhance the received image quality to allow the transmitter to compress the images to save its power or pursue network efficiency. In this sense, this paper proposes a novel dynamic video streaming algorithm that adaptively compresses video chunks at the transmitter and separately enhances the quality at the receiver using SR. In order to allow transmission of video chunks with different compression levels and control of the computation burden, we present the adaptive SR network which is optimized by minimizing the weighted sum of losses extracted from different layer outputs. for dynamic video streaming. In addition, we jointly orchestrate video delivery and resource usage, and the proposed video delivery scheme balances the tradeoff well among the average video quality, the queuing delay, buffering time, transmit power, and computation power. Simulation results show that the proposed scheme pursues the quality-of-services (QoS) of the video streaming better than the adaptive quality control without the cooperation of the transmitter and the receiver and the non-adaptive SR network.

연구 동기 및 목표

• IoT 및 V2X 네트워크와 같은 자원이 제한된 환경에서 증가하는 고화질 비디오 스트리밍 수요를 해결하기 위해.
• 시간에 따라 변하는 채널 및 장치 조건 하에서 동적 비디오 스트리밍에서 재생 정지, 큐잉 지연, 전력 소비를 줄이기 위해.
• 품질, 지연, 에너지 사용과 같은 상충되는 성능 지표를 균형 잡는 데 목적이 있는 전송기 및 수신기에서의 비디오 전달 및 계산 작업을 공동 최적화하기 위해.
• 가용 자원에 따라 슈퍼해상도 네트워크의 깊이를 조정하여 제한된 CPU 및 전송 전력 자원을 효율적으로 사용하기 위해.
• 압축 및 SR 처리의 적응적 제어를 통해 동적 비디오 스트리밍에서 품질-서비스(QoS) 및 품질-경험(QoE)을 향상시키기 위해.

제안 방법

• 가용 CPU 자원에 따라 깊이가 동적으로 선택되는 적응형 슈퍼해상도 생성적 적대적 네트워크(ASRGAN)를 사용하여 품질과 계산 비용을 균형 잡는다.
• 전송기는 수신기의 큐 상태, 채널 조건, 버퍼 수준에 따라 다른 비트레이트로 비디오 청크를 적응적으로 압축한다.
• 지연, 전력, 품질 저하의 가중합을 최소화하기 위해 전송 속도, 압축 수준, SR 네트워크 깊이를 공동 제어하기 위해 드리프트-플러스-페널티 최적화 프레임워크를 사용한다.
• 다중 중간층 출력의 손실 가중합을 최소화함으로써 적응형 SR 네트워크를 훈련시켜 품질과 계산 간의 민감한 트레이드오프를 가능하게 한다.
• 실시간 메트릭스인 전송기 큐 길이, 수신기 버퍼 상태, 전송 전력, CPU 사용량을 모니터링하여 동적 결정보를 내린다.
• 최적화 프레임워크는 비디오 품질 저하의 중요도를 조정하는 데 사용되는 파rameter $ V $ 를 사용하여 품질과 지연/전력 간의 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 동적이고 자원이 제한된 환경에서 비디오 스트리밍 시스템은 어떻게 비디오 품질, 큐잉 지연, 전력 소비를 균형 잡을 수 있는가?
• RQ2 비디오 스트리밍의 품질-서비스(QoS) 및 품질-경험(QoE)을 향상시키기 위해 전송기에서의 비디오 압축과 수신기에서의 슈퍼해상도 처리를 어떻게 적응적으로 제어할 수 있는가?
• RQ3 제한된 CPU 및 전송 전력 조건 하에서 전송 및 계산 결정을 공동 최적화할 경우 비디오 스트리밍 성능에 어떤 영향을 미치는가?
• RQ4 적응형 슈퍼해상도는 실시간 스트리밍에서 수용 가능한 비디오 품질을 유지하면서 계산 부하를 얼마나 줄일 수 있는가?
• RQ5 비적응형 또는 비협력적 접근 방식에 비해 제안된 방법은 지연, 품질, 자원 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 비적응형 기준 ‘Comp1’에 비해 더 많은 CPU 코어를 사용하고도, 제안된 방법은 재생 정지 이벤트와 평균 버퍼 길이를 크게 감소시켰다.
• θ = 2.5일 때, 제안된 방법은 ‘Comp1’ 대비 CPU를 2.5배 더 효율적으로 사용하여 더 나은 자원 활용도를 보였다.
• 수신된 비디오 청크의 평균 PSNR는 제안된 방법에서 ‘Comp1’보다 높았으며, 이는 향상된 비디오 품질을 나타낸다.
• 가중치 파rameter $ V $ 가 증가할수록 시스템은 더 높은 비디오 품질을 우선시하여 더 깊은 ASRGAN 네트워크를 사용하고 지연 발생 빈도를 감소시키며, 이는 더 높은 CPU 사용량에도 불구하고 가능하다.
• 비적응형 SR 및 비협력적 적응형 스트리밍 방법에 비해 제안된 방법은 비디오 품질, 지연, 전력 소비 간의 더 나은 트레이드오프를 달성한다.
• 전송기 및 수신기 결정보의 공동 제어는 버퍼링, 지연, 에너지 사용과 같은 상충되는 여러 지표에 걸쳐 더 균형 잡히고 안정적인 성능을 가능하게 한다.