[논문 리뷰] Energy-Aware Frame Rate Selection for Video Coding
본 논문은 시간적 다운샘플링이 인코딩/디코딩의 에너지 사용에 미치는 영향을 분석하고, 공간-시간 특성과 감독 학습을 이용해 품질 저하 없이 에너지를 절약하는 프레임 속도 예측을 위한 EAFRS(에너지 인식 프레임 속도 선택) 방법을 제안한다.
The main contributions of this paper are twofold: First, we present an in-depth analysis of the impact of frame rate reductions on the visual quality of the video and the encoding as well as decoding energy. Second, we propose a lightweight frame rate selection method for energy- and quality-aware encoding. Concerning the first contribution, this paper performs extensive encoding and decoding measurements, followed by an investigation of the impact of temporal downsampling on the energy demand of encoding and decoding at different frame rates. Furthermore, we determine the objective visual quality of the downsampled videos. As a result of this investigation, we identify content- and quantization-setting-dependent energy-aware frame rates, i.e., the temporal downsampling factors that lead to Pareto-optimality in terms of energy and quality. We demonstrate that significant energy savings are achieved while maintaining constant visual quality. Subsequently, a subjective experiment is conducted to verify this observation regarding perceptual quality using mean opinion scores. As the second contribution, we propose an energy-aware frame rate selection method that extracts spatio-temporal features from the video sequences. Based on these features, the proposed method employs a feature-based supervised machine learning approach to predict energy-aware frame rates for a given quantization parameter and video sequence, aiming to reduce energy consumption during encoding and decoding. The experimental results demonstrate that the proposed method offers significant energy savings, with an average of 17.46% and 17.60% of encoding and decoding energy demand reduction, respectively, alongside 3.38% average bitrate savings at a constant quality.
연구 동기 및 목표
- 시간적 다운샘플링과 압축이 콘텐츠 유형 전반에서 인코딩 및 디코딩 에너지에 어떻게 공동으로 영향을 미치는지 평가한다.
- 다양한 프레임 속도와 CRF 설정에서 객관적 및 주관적 품질 변화의 정도를 정량화한다.
- 공간-시간 특징과 감독 학습을 이용한 에너지 인식 프레임 속도 선택 방법을 개발하고 평가한다.
제안 방법
- 다양한 프레임 속도(120,100,60,50,40,30,25,24,15 fps) 및 CRF 값(0–51)에서 광범위한 인코딩/디코딩 에너지 측정.
- 에너지-왜곡 곡선을 사용하여 Pareto 최적의 프레임 속도–CRF 포인트를 에너지 절감의 기준으로 식별한다.
- 다양한 공간-시간 특징(FD, SFD, OF, HoG, NFD, GLCM, SI, TI, SE, TE, CRF)을 정의하고 추출한 뒤 카이제곱(Chi-square) 특징 선택을 적용한다.
- 에너지 인식 프레임 속도 선택을 다중 클래스 분류 문제로 정의하고(출력: 120, 60, 30, 24, 15 fps) 앙상블 학습으로 학습한다.
- 두 단계 워크플로우: 학습 모드(특징+CRF에서 에너지 인식 프레임 속도로의 매핑 학습)와 테스트 모드(새 시퀀스에 대해 예측).
실험 결과
연구 질문
- RQ1시간적 다운샘플링이 압축과 상호 작용하여 콘텐츠 유형 전반에서 인코딩 및 디코딩 에너지에 어떤 영향을 미치는가?
- RQ2콘텐츠 특징과 CRF 설정으로 에너지 인식 프레임 속도를 예측하여 시각적 품질을 유지하면서 에너지 소비를 최소화할 수 있는가?
- RQ3고정된 품질에서 에너지 인식 다운샘플링이 비트레이트에 미치는 영향은 무엇인가?
- RQ4에너지 인식 다운샘플링 아래에서 객관적 품질(mPSNR)과 주관적 품질(MOS) 간에 측정 가능한 상관관계가 있는가?
- RQ5제안된 EAFRS 방법의 에너지 소비 감소 효과가 고정 프레임 속도 인코딩에 비해 얼마나 우수한가?
주요 결과
| 파일 이름 | 에너지 인식 프레임 속도 | BD (%) | BDR | BDEE | BDDE |
|---|---|---|---|---|---|
| bobblehead | {120,120,120,120} | 0 | 0 | 0 | 0 |
| books | {120,120,120,120} | 0 | 0 | 0 | 0 |
| bouncyball | {120,120,120,120} | 0 | 0 | 0 | 0 |
| catch | {120,30,15,15} | -16.03 | -69.45 | -64.60 | |
| catch_track | {120,120,120,120} | 0 | 0 | 0 | 0 |
| cyclist | {120,120,120,120} | 0 | 0 | 0 | 0 |
| flowers | {120,30,15,15} | 16.43 | -52.73 | -52.61 | |
| golf_side | {120,15,15,15} | -14.75 | -77.37 | -73.10 | |
| guitar_focus | {120,120,30,24} | 13.73 | -23.72 | -27.12 | |
| hamster | {120,120,120,120} | 0 | 0 | 0 | 0 |
| joggers | {120,120,120,15} | 1.84 | -5.07 | -5.91 | |
| lamppost | {120,60,15,15} | 20.04 | -32.08 | -32.58 | |
| leaves_wall | {120,120,24,15} | 0.33 | -20.14 | -20.97 | |
| library | {120,120,120,15} | -0.68 | -4.46 | -4.48 | |
| martial_arts | {120,120,120,30} | 0.82 | -3.48 | -4.37 | |
| pond | {60,15,15,15} | -55.85 | -82.54 | -79.96 | |
| pour | {120,120,120,30} | 0.21 | -3.57 | -4.86 | |
| sparkler | {120,120,120,120} | 0 | 0 | 0 | 0 |
| typing | {120,120,24,15} | 1.09 | -30.27 | -33.09 | |
| water_ripples | {120,120,24,24} | 16.27 | -17.21 | -19.12 | |
| water_splashing | {120,120,120,120} | 0 | 0 | 0 | 0 |
| Beauty | {120,120,120,30} | 1.52 | -4.12 | -5.50 | |
| Bosphorus | {120,120,30,30} | 9.43 | -30.18 | -32.09 | |
| HoneyBee | {30,15,15,15} | -71.71 | -85.10 | -82.78 | |
| Jockey | {120,120,120,120} | 0 | 0 | 0 | 0 |
| ReadySteadyGo | {120,120,120,120} | 0 | 0 | 0 | 0 |
| YachtRide | {120,120,120,30} | 2.28 | -3.00 | -3.76 | |
| All sequences | Average BD | -2.68 | -19.45 | -19.53 | |
| Downsampled | Average BD | -4.41 | -32.03 | -32.17 |
- 에너지 인식 다운샘플링은 콘텐츠에 따라 인코딩 및 디코딩 에너지를 절감하며, 시퀀스 전반의 BD 감소에서 평균적으로 비트레이트 2.68%, 인코딩 에너지 19.45%, 디코딩 에너지 19.53%의 개선을 보인다(모든 시퀀스).
- 프레임 속도 감소가 이득인 시퀀스로 제한할 경우 평균 개선은 비트레이트 4.41%, 인코딩 에너지 32.03%, 디코딩 에너지 32.17%로 상승한다.
- 일부 시퀀스(예: pond, honeybee)에서 다양한 CRF에서 최대 약 85%의 인코딩 에너지 감소 및 약 83%의 디코딩 에너지 감소와 같은 큰 에너지 절감이 관측되며, 다른 시퀀스는 모션 콘텐츠로 인해 절감 효과가 작다.
- Pareto 최적의 에너지-품질 트레이드오프를 통해 선택될 때 다운샘플링은 주관적 품질을 유지할 수 있으며, MOS와 mPSNR 간의 상관관계가 여러 시퀀스에서 강하게 나타난다(SROCC 최대 0.91).
- 제안된 EAFRS는 테스트 시퀀스에서 평균 인코딩 에너지 17.46%, 디코딩 에너지 17.60% 및 일정 품질에서 평균 비트레이트 절감 3.38%의 상당한 에너지 절감을 달성한다.
더 나은 연구,지금 바로 시작하세요
연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.