[論文レビュー] Computationally Efficient Neural Image Compression

Nick Johnston, Elad Eban+2 more|arXiv (Cornell University)|Dec 18, 2019

Image and Signal Denoising Methods参考文献 22被引用数 22

ひとこと要約

本稿では、最新のニューラル画像圧縮モデルにおけるデコーダ実行時間の50％以上を削減するが、レート・ディストーション性能に妥協を来さない、計算的に効率的なニューラル画像圧縮（CENIC）を提案する。FLOP正則化付きアーキテクチャ探索（MorphNetを用いて）、GDN活性化関数の簡素化、およびMS-SSIMとMSE損失関数のための的を絞った最適化を通じて達成され、MS-SSIM最適化モデルは計算的に高速化されやすいことが示された。

ABSTRACT

Image compression using neural networks have reached or exceeded non-neural methods (such as JPEG, WebP, BPG). While these networks are state of the art in ratedistortion performance, computational feasibility of these models remains a challenge. We apply automatic network optimization techniques to reduce the computational complexity of a popular architecture used in neural image compression, analyze the decoder complexity in execution runtime and explore the trade-offs between two distortion metrics, rate-distortion performance and run-time performance to design and research more computationally efficient neural image compression. We find that our method decreases the decoder run-time requirements by over 50% for a stateof-the-art neural architecture.

研究の動機と目的

• スマートフォンなどのリソース制約のあるデバイスにおいても、ニューラル画像圧縮デコーダの高い計算コストを軽減すること。
• ニューラル画像圧縮モデルにおけるレート・ディストーション性能とデコーダ実行時間のトレードオフを調査すること。
• 自動アーキテクチャ探索と正則化を用いた、計算的に効率的なニューラル画像圧縮アーキテクチャを設計する体系的かつ包括的な手法を開発すること。
• 異なる歪み評価指標（MSE 対 MS-SSIM）が、計算最適化されたモデルの実現可能性と性能に与える影響を分析すること。
• リアルタイム環境におけるニューラル画像圧縮の実用的導入に向けた実務的知見を提供すること。

提案手法

• FLOPsに基づいた正則化を施すことで、冗長なチャネルの自動プルーニングを可能にする、微分可能アーキテクチャ探索手法MorphNetを適用し、ネットワークアーキテクチャの最適化を実現した。
• 一般化除法正規化（GDN）活性化関数のパラメータ α_ij と ε_i を固定することで簡素化し、デコード時の計算オーバーヘッドを低減したが、性能損失は顕著ではなかった。
• チャネル次元におけるスパarsityを促進するため、グループLasso正則化を用いてモデルを学習させ、より小型で高速なアーキテクチャを達成した。
• 文脈モデルを含まないベースラインのMean-Scale Hyperpriorアーキテクチャを用い、デコーダの複雑さを分離して分析した。
• CPUとGPUの実行時間を比較することで、プラットフォーム依存のパフォーマンスと推論パイプライン内のボトルネックを同定した。
• PSNR や MS-SSIM といった複数の歪み評価指標とビットレートを用いて、知覚的品質と計算コストのトレードオフを評価した。

実験結果

リサーチクエスチョン

• RQ1 レート・ディストーション性能を損なわせることなく、ニューラル画像圧縮モデルの計算効率を著しく向上させることは可能か？
• RQ2 異なる歪み評価指標（MSE 対 MS-SSIM）が、計算最適化されたモデルの実現可能性と性能に与える影響は何か？
• RQ3 MorphNet のような自動アーキテクチャ探索技術は、高い圧縮品質を維持しつつ、デコーダ実行時間を効果的に短縮できるか？
• RQ4 GDN などの活性化関数に対する簡素化処理が、ニューラル画像圧縮における推論速度と性能に与える影響は何か？
• RQ5 CPU と GPU プラットフォームにおけるニューラルデコーダの実行時間行動に、どのような主な差異が存在するか？

主な発見

• CENIC手法により、最先端のニューラル画像圧縮アーキテクチャにおいて、デコーダ実行時を50％以上短縮した。これは、実用的導入の可能性を顕著に向上させた。
• MS-SSIM最適化モデルは、MSE最適化モデルと比較して、特に高ビットレート域において計算効率の最適化がより容易であることが判明した。
• GDN活性化関数の α_ij と ε_i パラメータを固定することで、デコード時間は短縮されたが、レート・ディストーション性能に顕著な損失は認められなかった。
• Mean-Scaleモデルは、GPU上で62ms（CPUの230msと比較）で3.7倍の高速化を達成した。これは、ハードウェアと実装方法が実行時間評価において極めて重要であることを示している。
• FLOP正則化付きアーキテクチャ探索（MorphNetを用いて）は、効果的なアーキテクチャ探索に成功した。正則化なしに層の容量を増加させても、レート・ディストーション性能に向上は見られなかった。
• MS-SSIM最適化により、CPUおよびGPU両プラットフォームで、MSE最適化モデルと比較してより一貫性があり、分散が小さいデコード時間となった。