[論文レビュー] FAST: Free Adaptive Super-Resolution via Transfer for Compressed Videos.

Zhengdong Zhang, Vivienne Sze|arXiv (Cornell University)|Mar 29, 2016

Advanced Image Processing Techniques参考文献 27被引用数 8

ひとこと要約

FAST は、動画ストリームにすでに存在する運動ベクトルと残差データを用いて、1 フレームから隣接フレームへ高品質な結果を適応的に転送することで、圧縮動画の超解像を高速化する。この手法により、品質損失がたった 0.2 dB の範囲で最大 10 倍の高速化が達成され、大画面でのリアルタイム超解像が可能になる。

ABSTRACT

High resolution displays are increasingly popular, requiring most of the existing video content to be adapted to higher resolution. State-of-the-art super-resolution algorithms mainly address the visual quality of the output instead of real-time throughput. This paper introduces FAST, a framework to accelerate any image based super-resolution algorithm running on compressed videos. FAST leverages the similarity between adjacent frames in a video. Given the output of a super-resolution algorithm on one frame, the technique adaptively transfers it to the adjacent frames and skips running the super-resolution algorithm. The transferring process has negligible computation cost because the required information, including motion vectors, block size, and prediction residual, are embedded in the compressed video for free. In this work, we show that FAST accelerates state-of-the-art super-resolution algorithms by up to an order of magnitude with acceptable quality loss of up to 0.2 dB. Thus, we believe that the FAST framework is an important step towards enabling real-time super-resolution algorithms that upsample streamed videos for large displays.

研究の動機と目的

• 圧縮動画ストリームに適用された最先端の超解像アルゴリズムがリアルタイム性能を欠いている問題に対処すること。
• 視覚的品質を損なわず、超解像処理における計算負荷を低減すること。
• 運動ベクトルや予測残差を含む、既存の圧縮動画データを活用して効率的なフレーム間転送を実現すること。
• 既存の動画コーデックを活用して、高解像度ディスプレイ向けにスケーラブルかつリアルタイムの超解像を実現すること。
• フレーム再利用による転送が、許容可能な知覚的品質を維持しつつ超解像を著しく高速化できることを実証すること。

提案手法

• フレームワークは、圧縮動画ビットストリームにすでに埋め込まれている重要な情報（運動ベクトル、ブロックサイズ、予測残差）を特定する。
• 基準フレームの超解像出力を再利用し、動き補償を用いて隣接フレームへ転送する。
• 品質劣化を最小限に抑えるために、動きの複雑さと残差エネルギーに基づいて、転送プロセスを適応的に制御する。
• 大部分のフレームに対して、完全な超解像アルゴリズムを実行するのを回避し、過去の結果を動き補償付きで再利用することで処理を高速化する。
• 速度と品質のバランスを最適化するため、動的に転送戦略を調整し、視覚的アーチファクトを最小限に抑える。
• 任意の既存の画像ベース超解像モデルと互換性があり、再トレーニングや修正を必要としない。

実験結果

リサーチクエスチョン

• RQ1 動き補償付きの転送によるフレーム再利用は、圧縮動画ストリームにおける超解像処理を著しく高速化できるか？
• RQ2 再エンコードなしで、既存の圧縮動画データを用いて最大どれほどの高速化が達成できるか？
• RQ3 フレーム間での超解像結果の転送によって、どの程度の品質劣化が生じるか？
• RQ4 転送手法は、高解像度ディスプレイでのリアルタイム性能を達成しつつ、知覚的品質を維持できるか？
• RQ5 計算リソースの節約と視覚的忠実度の最適なトレードオフを決定づける要因は何か？

主な発見

• FAST は、フレーム間での結果再利用により、圧縮動画の超解像処理で最大 10 倍の高速化を達成する。
• フレーム転送に起因する品質損失は最小限であり、PSNR で最大 0.2 dB の低下にとどまり、リアルタイム応用においては許容可能とされる。
• 追加計算はほとんど不要で、圧縮ビットストリームにすでに存在する運動ベクトルと残差を活用する。
• フレームワークは、任意の既存の画像ベース超解像モデルと互換性があり、広範な応用が可能である。
• 転送プロセスは適応的であり、動きの複雑さと残差エネルギーに基づいて視覚的品質を保持するように調整される。
• 本手法により、高解像度ディスプレイ向けにリアルタイムの超解像が可能となり、動画アップスケーリングにおける主要なボトル neck を解消する。