[논문 리뷰] Energy-Efficient Multi-Codec Bitrate-Ladder Estimation for Adaptive Video Streaming

Vignesh V Menon, Reza Farahani외 4명|arXiv (Cornell University)|2023. 10. 14.

Image and Video Quality Assessment인용 수 5

한 줄 요약

이 논문은 새로운 세대 코덱(HEVC, AV1)의 중복 표현을 제거함으로써 적응형 비디오 스트리밍에서 인코딩, 스토리지, 전송 에너지를 줄이는 온라인·에너지 효율적인 다중코덱 비트레이트 래더 추정 기법 MCBE를 제안한다. AVC가 시각적 품질에서 더 우수할 경우, 이는 인코딩 에너지 최대 56.45% 절감, 스토리지 에너지 94.99% 절감, 전송 에너지 77.61% 절감을 달성하며, 산업 표준 HLS 래더 대비 성능 향상을 이룬다.

ABSTRACT

With the emergence of multiple modern video codecs, streaming service providers are forced to encode, store, and transmit bitrate ladders of multiple codecs separately, consequently suffering from additional energy costs for encoding, storage, and transmission. To tackle this issue, we introduce an online energy-efficient Multi-Codec Bitrate ladder Estimation scheme (MCBE) for adaptive video streaming applications. In MCBE, quality representations within the bitrate ladder of new-generation codecs (e.g., High Efficiency Video Coding (HEVC), Alliance for Open Media Video 1 (AV1)) that lie below the predicted rate-distortion curve of the Advanced Video Coding (AVC) codec are removed. Moreover, perceptual redundancy between representations of the bitrate ladders of the considered codecs is also minimized based on a Just Noticeable Difference (JND) threshold. Therefore, random forest-based models predict the VMAF score of bitrate ladder representations of each codec. In a live streaming session where all clients support the decoding of AVC, HEVC, and AV1, MCBE achieves impressive results, reducing cumulative encoding energy by 56.45%, storage energy usage by 94.99%, and transmission energy usage by 77.61% (considering a JND of six VMAF points). These energy reductions are in comparison to a baseline bitrate ladder encoding based on current industry practice.

연구 동기 및 목표

• AVC, HEVC, AV1와 같은 현대 비디오 코덱을 통해 여러 비트레이트 래더를 인코딩, 스토리지, 전송하는 데 소요되는 높은 에너지 비용을 줄이기 위해.
• 이전 코덱(예: AVC)이 비율-왜곡 성능에서 더 우수한 경우에도 여전히 중복으로 인코딩하고 스토리지하는 현재의 다중코덱 스트리밍 방식의 비효율성을 해결하기 위해.
• 시각적 중복을 줄이기 위해 6 VMAF 포인트의 Just Noticeable Difference(JND) 임계값을 활용하여 코덱 표현 간의 인지적 중복을 최소화하기 위해.
• 시각적 품질을 훼손하지 않으면서 에너지 효율성을 우선시하는 최적의 비트레이트 래더를 온라인으로 저지연으로 추정하는 방법을 개발하기 위해.
• 스트리밍 서비스 제공자가 지능적인 코덱 표현 선택을 통해 운영 비용과 환경 영향을 크게 줄일 수 있도록 지원하기 위해.

제안 방법

• MCBE 프레임워크는 저복잡도의 공간-시간 특징을 기반으로 훈련된 랜덤 포레스트 모델을 사용하여, 다양한 코덱의 각 비트레이트 래더 표현에 대한 VMAF 점수를 예측한다.
• 같은 비트레이트에서 AVC의 비율-왜곡 곡선보다 예측된 VMAF 점수가 낮은 경우, 신세대 코덱(HEVC, AV1)의 표현은 비트레이트 래더에서 제거된다.
• JND 임계값을 기반으로, 다른 표현과 6 VMAF 포인트 이내의 VMAF 점수를 가진 표현은 제거되어 코덱 표현 간의 인지적 중복을 최소화한다.
• 시스템은 온라인으로 작동하며, 특징 추출 속도는 370 fps이며, 4초 분량의 2160p 영상 세그먼트에 대해 총 추론 시간은 0.37초로, 지연이 거의 없다.
• 기존의 비트레이트 래더 추정 기법(HLS, OPTE, JTPS 등)과 호환되며, 라이브 스트리밍 파이프라인에 통합 가능하다.
• 에너지 소비는 인코딩에 대해 CodeCarbon를, 스토리지에 대해 비트당 전력 모델을 사용하여 인코딩, 스토리지, 전송 에너지 절감량을 정량화한다.

Figure 1 : An example of a multi-codec streaming system.

실험 결과

연구 질문

• RQ1 AVC가 더 우수한 비율-왜곡 성능을 보일 경우, 신세대 코덱(HEVC, AV1)의 중복 표현을 제거해도 시각적 품질 손실 없이 가능할까?
• RQ2 JND 기반 임계값을 사용할 경우, 다중코덱 비트레이트 래더 표현 간의 인지적 중복은 어느 정도까지 줄일 수 있는가?
• RQ3 MCBE를 적용함으로써 최신 기술 기반 비트레이트 래더 기법 대비 인코딩, 스토리지, 전송 에너지 절감은 얼마나 이루어질 수 있는가?
• RQ4 MCBE를 온라인 라이브 스트리밍 파이프라인에 통합할 경우 발생하는 지연 부담은 어느 정도인가?
• RQ5 저복잡도 특징을 사용한 VMAF 예측의 정확도는 비트레이트 래더 최적화를 안내하는 데 적합한가?

주요 결과

• 장치가 AVC, HEVC, AV1 디코딩을 지원하고 JND 임계값이 6 VMAF 포인트일 경우, MCBE는 HLS 비트레이트 래더 대비 누적 인코딩 에너지를 56.45% 절감한다.
• 스토리지 에너지 사용은 데이터 저장량이 77.61% 감소함에 따라 HLS 기준 대비 94.99% 감소한다.
• 전송 에너지 사용은 더 적은 표현 수가 전송되므로 HLS 기준 대비 77.61% 감소한다.
• VMAF 예측의 평균 절대오차(MAE)는 2.42로, 라이브 스트리밍 응용에 있어 허용 가능한 수준이다.
• 4초 분량의 2160p 영상 세그먼트에 대해 MCBE가 유도하는 추가 지연은 단 0.37초로, 실시간 구현에 적합하다.
• MCBE는 시각적 품질과 에너지 효율성 기반으로 중복 표현을 제거함으로써, 비디오 스트리밍 전 단계인 인코딩, 스토리지, 전송 단계에서 모두 상당한 에너지 절감 효과를 달성한다.

(a) Basketball_s000