[논문 리뷰] Content-Adaptive Variable Framerate Encoding Scheme for Green Live Streaming

Vignesh V Menon, Samira Afzal외 4명|arXiv (Cornell University)|2023. 11. 14.

Image and Video Quality Assessment인용 수 7

한 줄 요약

이 논문은 저복잡도 DCT 기반의 공간-시간 특징을 사용하여 비트레이트 계층별로 최적의 프레임레이트와 인코딩 프리셋을 동적으로 선택하는 콘텐츠 적응형 가변 프레임레이트(CVFR) 인코딩 기법을 제안한다. CVFR-ECO는 인코딩 에너지와 스토리지 에너지를 각각 34.54%, 76.24% 감소시키며, CVFR-HQ는 2.43 dB PSNR와 10.14 VMAF 포인트의 품질 향상을 이끌어내며 스토리지 에너지를 83.18% 감소시킨다. 이 모든 성능는 저지연 조건 하에서 달성된다.

ABSTRACT

Adaptive live video streaming applications use a fixed predefined configuration for the bitrate ladder with constant framerate and encoding presets in a session. However, selecting optimized framerates and presets for every bitrate ladder representation can enhance perceptual quality, improve computational resource allocation, and thus, the streaming energy efficiency. In particular, low framerates for low-bitrate representations reduce compression artifacts and decrease encoding energy consumption. In addition, an optimized preset may lead to improved compression efficiency. To this light, this paper proposes a Content-adaptive Variable Framerate (CVFR) encoding scheme, which offers two modes of operation: ecological (ECO) and high-quality (HQ). CVFR-ECO optimizes for the highest encoding energy savings by predicting the optimized framerate for each representation in the bitrate ladder. CVFR-HQ takes it further by predicting each representation's optimized framerate-encoding preset pair using low-complexity discrete cosine transform energy-based spatial and temporal features for compression efficiency and sustainable storage. We demonstrate the advantage of CVFR using the x264 open-source video encoder. The results show that CVFR-ECO yields an average PSNR and VMAF increase of 0.02 dB and 2.50 points, respectively, for the same bitrate, compared to the fastest preset highest framerate encoding. CVFR-ECO also yields an average encoding and storage energy consumption reduction of 34.54% and 76.24%, considering a just noticeable difference (JND) of six VMAF points. In comparison, CVFR-HQ yields an average increase in PSNR and VMAF of 2.43 dB and 10.14 points, respectively, for the same bitrate. Finally, CVFR-HQ resulted in an average reduction in storage energy consumption of 83.18%, considering a JND of six VMAF points.

연구 동기 및 목표

• 지속 가능성 향상을 위해 적응형 라이브 비디오 스트리밍의 높은 에너지 소비 문제를 해결하기 위한 인코딩 파라미터 최적화.
• 데이터 센터의 계산 및 스토리지 에너지 비용을 감소시켜 라이브 스트리밍의 정신적 품질을 훼손하지 않으면서도 구현.
• 비디오 콘텐츠 특성에 맞게 동적으로 프레임레이트와 프리셋을 선택하는 저지연 인코딩을 가능하게 하기.
• 감각적으로 중복된 표현을 제거하기 위해 Just Noticeable Difference(JND) 기반의 표현 제거 알고리즘을 통한 정신적 중복 최소화.
• 다양한 스트리밍 서비스 요구사항을 충족시키기 위해 에너지 최적화(CVFR-ECO) 및 품질 최적화(CVFR-HQ) 모드를 제공.

제안 방법

• 저복잡도 DCT 에너지 특징을 공간 및 시간 도메인에서 추출하여 비트레이트 계층의 각 표현에 대해 최적의 프레임레이트와 인코딩 프리셋을 예측하는 랜덤 포레스트 모델을 사용.
• 감각적으로 중복된 표현을 제거하기 위해 JND 기반의 표현 제거 알고리즘을 적용하여 데이터 크기 및 에너지 소비를 감소.
• 두 가지 모드를 구현: CVFR-ECO는 가장 빠른 프리셋을 사용하며 최적화된 프레임레이트로 인코딩 에너지를 최소화함; CVFR-HQ는 프레임레이트와 프리셋을 동시에 최적화하여 압축 효율을 극대화함.
• 표준 라이브 스트리밍 콘텐츠를 대상으로 x264 인코더를 사용하여 평가하며, 고정 프레임레이트 및 가장 빠른 프리셋 기반 기준 인코딩과 비교.
• 에너지 절감량은 인코딩 및 스토리지 에너지 소비 측정치로 정량화하며, 품질 유지는 PSNR 및 VMAF 지표로 유지.
• 에너지 절감 및 비트레이트 절감 계산을 위해 감각적 품질 동등성을 정의하기 위해 6 VMAF 포인트의 JND 임계값을 사용.

Figure 1 : An example scenario of a VFR encoding scheme for adaptive streaming that encodes a video segment of ultra-high definition resolution and 30fps in representation (7.8 Mbps, 1080p) with the selected framerate of 15fps. On the client side, red dashed blocks indicate the additional steps intr

실험 결과

연구 질문

• RQ1 콘텐츠 적응형 가변 프레임레이트 인코딩이 정신적 품질을 훼손하지 않고도 라이브 스트리밍에서 인코딩 및 스토리지 에너지 소비를 줄일 수 있는가?
• RQ2 비트레이트 계층별로 동적으로 프레임레이트와 인코딩 프리셋을 선택할 경우 압축 효율성과 에너지 소비에 어떤 영향을 미치는가?
• RQ3 인코딩 에너지(CVFR-ECO) 또는 압축 효율성(CVFR-HQ) 최적화 시 정신적 품질과 에너지 효율성 사이의 상호 교환 관계는 어떠한가?
• RQ4 JND 기반의 표현 제거를 통해 얼마나 많은 감각적 중복을 줄일 수 있으며, 이로 인해 품질은 유지되는가?
• RQ5 기존의 HTTP 적응형 스트리밍(HAS) 아키텍처에 최소한의 변경으로 적용 가능한가? 제안된 기법은 저지연 조건 하에서 라이브 스트리밍에 적용 가능한가?

주요 결과

• CVFR-ECO는 고정 프레임레이트 및 가장 빠른 프리셋 기반 인코딩 대비 평균 인코딩 에너지 소비를 34.54% 감소시키며, 스토리지 에너지는 76.24% 감소시킨다. JND 임계값은 6 VMAF 포인트로 설정.
• CVFR-ECO는 동일한 PSNR 유지를 위해 17.91%의 비트레이트 절감을 달성했으며, 동일한 VMAF를 유지하기 위해선 13.54%의 비트레이트 절감을 이룬다.
• CVFR-HQ는 동일 비트레이트에서 평균 PSNR를 2.43 dB 향상시키고 VMAF를 10.14 포인트 향상시켜 기준 인코딩 대비 품질에서 뛰어난 성능을 보였다.
• CVFR-HQ는 동일한 JND 임계값(6 VMAF 포인트) 하에서 기준 인코딩 대비 스토리지 에너지 소비를 83.18% 감소시켰다.
• 비록 인코딩 에너지가 기준 대비 282.94% 높아졌지만, CVFR-HQ는 뛰어난 압축 효율성과 스토리지 및 전송 에너지 절감 효과를 제공한다.
• 제안된 JND 기반의 표현 제거 알고리즘이 효과적으로 데이터 크기 및 에너지 소비를 감소시키면서도 정신적 품질을 유지한다.

(a) Average PSNR.