[論文レビュー] Energy-Aware Frame Rate Selection for Video Coding

Geetha Ramasubbu, Andrè Kaup+1 more|arXiv (Cornell University)|Mar 18, 2026

Image and Video Quality Assessment被引用数 0

ひとこと要約

temporal downsampling がエンコード/デコード時のエネルギー使用にどう影響するかを分析し、品質を犠牲にせずエネルギー節約可能なフレームレートを予測するエネルギー認識型フレームレート選択（EAFRS）法を提案する。

ABSTRACT

The main contributions of this paper are twofold: First, we present an in-depth analysis of the impact of frame rate reductions on the visual quality of the video and the encoding as well as decoding energy. Second, we propose a lightweight frame rate selection method for energy- and quality-aware encoding. Concerning the first contribution, this paper performs extensive encoding and decoding measurements, followed by an investigation of the impact of temporal downsampling on the energy demand of encoding and decoding at different frame rates. Furthermore, we determine the objective visual quality of the downsampled videos. As a result of this investigation, we identify content- and quantization-setting-dependent energy-aware frame rates, i.e., the temporal downsampling factors that lead to Pareto-optimality in terms of energy and quality. We demonstrate that significant energy savings are achieved while maintaining constant visual quality. Subsequently, a subjective experiment is conducted to verify this observation regarding perceptual quality using mean opinion scores. As the second contribution, we propose an energy-aware frame rate selection method that extracts spatio-temporal features from the video sequences. Based on these features, the proposed method employs a feature-based supervised machine learning approach to predict energy-aware frame rates for a given quantization parameter and video sequence, aiming to reduce energy consumption during encoding and decoding. The experimental results demonstrate that the proposed method offers significant energy savings, with an average of 17.46% and 17.60% of encoding and decoding energy demand reduction, respectively, alongside 3.38% average bitrate savings at a constant quality.

研究の動機と目的

• Temporal downsampling と圧縮がコンテンツタイプ別のエンコード・デコードエネルギーに jointly 影響することを評価する。
• さまざまなフレームレートと CRF 設定の下で、客観的品質と主観的品質の変化を定量化する。
• spatio-temporal features と supervised learning を用いたエネルギー認識型フレームレート選択法を開発・評価する。

提案手法

• 複数のフレームレート (120,100,60,50,40,30,25,24,15 fps) および CRF 値 (0–51) にわたるエンコード/デコードエネルギーの広範な測定。
• エネルギー-歪み曲線を用いて Pareto 最適なフレームレート–CRF 点をエネルギー節約の基準値として特定。
• 豊富な時空特徴集合を定義・抽出（FD, SFD, OF, HoG, NFD, GLCM, SI, TI, SE, TE, CRF）し、カイ二乗特徴選択を適用。
• エネルギー認識型フレームレート選択を多クラス分類問題として定式化（出力: 120, 60, 30, 24, 15 fps）し、アンサンブル学習で学習。
• 2 段階のワークフロー：学習モード（特徴量+CRF からエネルギー認識型フレームレートへの写像を学習）と テストモード（新規系列へ予測）。”

実験結果

リサーチクエスチョン

• RQ1 時間的ダウンサンプリングが圧縮と相互作用し、コンテンツタイプ別のエンコード・デコードエネルギーへどのように影響するか？
• RQ2 コンテンツ特徴量と CRF 設定からエネルギー認識型フレームレートを予測して、視覚品質を保持しつつエネルギー消費を最小化できるか？
• RQ3 固定品質でのビットレートに対するエネルギー認識型ダウンサンプリングの影響は？
• RQ4 エネルギー認識型ダウンサンプリング下での objective 品質（mPSNR）と subjective 品質（MOS）に相関があるか？
• RQ5 提案手法 EAFRS は固定フレームレート符号化と比較してエネルギー消費をどれだけ削減できるか？

主な発見

ファイル名	エネルギー認識型フレームレート	BD (%)	BDR	BDEE	BDDE
bobblehead	{120,120,120,120}	0	0	0	0
books	{120,120,120,120}	0	0	0	0
bouncyball	{120,120,120,120}	0	0	0	0
catch	{120,30,15,15}	-16.03	-69.45	-64.60
catch_track	{120,120,120,120}	0	0	0	0
cyclist	{120,120,120,120}	0	0	0	0
flowers	{120,30,15,15}	16.43	-52.73	-52.61
golf_side	{120,15,15,15}	-14.75	-77.37	-73.10
guitar_focus	{120,120,30,24}	13.73	-23.72	-27.12
hamster	{120,120,120,120}	0	0	0	0
joggers	{120,120,120,15}	1.84	-5.07	-5.91
lamppost	{120,60,15,15}	20.04	-32.08	-32.58
leaves_wall	{120,120,24,15}	0.33	-20.14	-20.97
library	{120,120,120,15}	-0.68	-4.46	-4.48
martial_arts	{120,120,120,30}	0.82	-3.48	-4.37
pond	{60,15,15,15}	-55.85	-82.54	-79.96
pour	{120,120,120,30}	0.21	-3.57	-4.86
sparkler	{120,120,120,120}	0	0	0	0
typing	{120,120,24,15}	1.09	-30.27	-33.09
water_ripples	{120,120,24,24}	16.27	-17.21	-19.12
water_splashing	{120,120,120,120}	0	0	0	0
Beauty	{120,120,120,30}	1.52	-4.12	-5.50
Bosphorus	{120,120,30,30}	9.43	-30.18	-32.09
HoneyBee	{30,15,15,15}	-71.71	-85.10	-82.78
Jockey	{120,120,120,120}	0	0	0	0
ReadySteadyGo	{120,120,120,120}	0	0	0	0
YachtRide	{120,120,120,30}	2.28	-3.00	-3.76
All sequences	Average BD	-2.68	-19.45	-19.53
Downsampled	Average BD	-4.41	-32.03	-32.17

• エネルギー認識型ダウンサンプリングはコンテンツ依存的なエンコード・デコードエネルギー節約をもたらし、BD 減少全系列での平均改善はビットレート -2.68%、エンコードエネルギー -19.45%、デコードエネルギー -19.53%（全系列）である。
• フレームレート削減が有益な系列に限定した場合、平均改善はビットレート -4.41%、エンコードエネルギー -32.03%、デコードエネルギー -32.17%へ増加。
• 特定の系列（ pond, honeybee など）では、CRF の各値でエンコードエネルギー最大約85%、デコードエネルギー最大約83%の顕著な基準値節約が観察される一方、動き成分の多い系列では節約が小さいまたはない。
• Pareto 最適なエネルギー-品質トレードオフを用いた場合、主観的評価と客観的評価は一致することが多く、SROCC はいくつかの系列で最大 0.91。
• EAFRS は平均エンコードエネルギー削減 17.46%、デコードエネルギー削減 17.60%、一定品質での平均ビットレート節約 3.38% を達成。