[論文レビュー] MobileCodec: Neural Inter-frame Video Compression on Mobile Devices

Hoang Le, Liang Zhang+7 more|arXiv (Cornell University)|Jul 18, 2022

CCD and CMOS Imaging Sensors被引用数 4

ひとこと要約

MobileCodecは、QualcommのAIエンジンを活用して、低ビットレートでも高い視覚的品質を実現しながら、720p HD動画を31 FPSでリアルタイムに復号できる、モバイルデバイス向けの最初の神経的インターフレーム動画デコーダーを提示する。本システムは、量子化に配慮した学習と並列エントロピー符号化を採用した効率的で非対称なアーキテクチャを採用しており、電力制限のあるモバイルハードウェア上でのニューラル動画圧縮の実用的導入を可能にする。

ABSTRACT

Realizing the potential of neural video codecs on mobile devices is a big technological challenge due to the computational complexity of deep networks and the power-constrained mobile hardware. We demonstrate practical feasibility by leveraging Qualcomm's technology and innovation, bridging the gap from neural network-based codec simulations running on wall-powered workstations, to real-time operation on a mobile device powered by Snapdragon technology. We show the first-ever inter-frame neural video decoder running on a commercial mobile phone, decoding high-definition videos in real-time while maintaining a low bitrate and high visual quality.

研究の動機と目的

• 商業用モバイルハードウェア上でリアルタイムのニューラル動画復号の実現可能性を示すこと。計算リソースと電力制限を克服する。
• 低遅延と高いエネルギー効率を実現する、モバイルデプロイメントに最適化された非対称なニューラル動画コーデックアーキテクチャを設計すること。
• ニューラルエントロピーモデルと互換性があり、効率的なビットストリーム生成を可能にする並列エントロピー符号化アルゴリズムを開発すること。
• エンドツーエンドの学習済み動画圧縮をモバイルプラットフォームに実用的に導入し、シミュレーションと実世界利用のギャップを埋めること。
• Qualcomm AIエンジンにおける最適化された推論を活用することで、モバイルデバイス上でリアルタイムの復号速度を維持しながら、競争力のあるレート・ディストーション性能を達成すること。

提案手法

• エンコーダーとデコーダーに別々で軽量なネットワークを設計し、受信側の計算負荷を低減する非対称なニューラル動画コーデックを設計する。
• 特徴空間上で運動補償と残差符号化を統合することで、圧縮効率を向上させ、冗長性を低減する。
• 全精度ニューラルネットワークを8ビット整数精度の推論に変換するための量子化に配慮した学習を適用し、モバイルAIアクセラレータ上で効率的な実行を可能にする。
• ニューラルエントロピー・モデルの出力を効率的に符号化する並列エントロピー符号化アルゴリズムを開発し、エンコーディング遅延を低減し、スループットを向上させる。
• 高解像度でのフィルタ数を削減し、受信側でより小さなモデルを採用することで、MAC演算を最小限に抑えるネットワークアーキテクチャの最適化を実施する。
• Qualcomm AIエンジンを活用してハードウェア加速推論を実現し、商業用モバイルデバイス上でリアルタイムのパフォーマンスを確保する。

実験結果

リサーチクエスチョン

• RQ1 商業用モバイルデバイス上で、電力制限と遅延制限の下でも神経的インターフレーム動画コーデックがリアルタイムの復号を達成できるか？
• RQ2 レート・ディストーション性能や視覚的品質を損なわず、モバイルデプロイメントに最適化されたニューラル動画圧縮はどのように最適化できるか？
• RQ3 計算リソースが限られたモバイルハードウェア上でニューラルコーデックを実用化するために、どのようなアーキテクチャ的・アルゴリズム的変更が必要か？
• RQ4 並列エントロピー符号化は、ニューラルエントロピー・モデルと効果的に統合可能か？ これにより、モバイルプラットフォーム上のエンコーディング効率が向上するか？
• RQ5 モバイル最適化されたニューラル動画コーデックにおいて、ビットレート、視覚的品質、復号速度の間で達成可能なトレードオフは何か？

主な発見

• MobileCodecは、商業用モバイルデバイス上で31フレーム/秒（FPS）のリアルタイム復号を達成し、モバイルハードウェア上で初めて公開されたリアルタイムのニューラルインターフレーム動画デコーダーであることを実証した。
• Pexelsデータセットの多様な動画シーケンスを対象に、平均PSNRが40.18 dB、平均MSSSIMが0.9890に達した。
• 受信側の計算負荷は送信側の最大2倍まで低く抑えられており、1つのPフレームを復号するのに必要な総MAC演算数は390.1 KMAC/ピクセルであった。
• ffmpegにおける高速H.264およびH.265エンコーディングと比較して、特に低ビットレートでの性能が競争力があり、同程度のビットレートでも優れた視覚的品質を実現した。
• デコーダーの総パラメータ数は11.589百万で、1ピクセルあたり390.1 KMACを要し、モバイルデプロイメントに強い効率性を示した。
• モデルの量子化、アーキテクチャ最適化、ハードウェアに配慮した設計を通じて、ニューラル動画コーデックがモバイルプラットフォームに実際に導入可能であることを実証した。