[論文レビュー] Block-optimized Variable Bit Rate Neural Image Compression

Çağlar Aytekin, Xingyang Ni+4 more|arXiv (Cornell University)|May 28, 2018

Advanced Data Compression Techniques被引用数 5

ひとこと要約

本稿では、複数のネットワーク、エントロピーに優しい損失関数、推論段階でのコード最適化を用いたエンドツーエンド学習された自己符号化器を用いた、ブロック最適化型で可変ビットレートなニューラル画像圧縮システムを提案する。テストセットにおいて0.148 bppで27.92のPSNRを達成し、BPGやJPEGを上回る性能を発揮する。ブロックごとの適応的ビットレート制御は、微調整されたエンコーダーとL2正規化されたデコーダーにより実現される。

ABSTRACT

In this work, we propose an end-to-end block-based auto-encoder system for image compression. We introduce novel contributions to neural-network based image compression, mainly in achieving binarization simulation, variable bit rates with multiple networks, entropy-friendly representations, inference-stage code optimization and performance-improving normalization layers in the auto-encoder. We evaluate and show the incremental performance increase of each of our contributions.

研究の動機と目的

• 従来のコーデックに依存せずに、可変ビットレートをサポートするエンドツーエンドでブロックベースのニューラル画像圧縮システムの開発。
• L2正規化やエントロピーに優しい損失といった新規なアーキテクチャ的要素を用いて、圧縮効率と再構成品質の向上。
• 複数の専用ネットワークと推論段階でのコード最適化により、ブロックごとの適応的ビットレートエンコーディングの実現。
• ニューラル圧縮における量子化の非微分可能性に対処するため、区間保存型2値化ノイズと代替トレーニングの導入。
• エキスパートネットワークの微調整とデブロッキング後処理による性能向上。

提案手法

• 各ブロックごとに固定次元のブロックコードを生成するため、5つのダウンサンプリング畳み込みブロックと1x1シグモイド活性化関数を備えた最終層を有する完全畳み込み自己符号化器を採用。
• デコーダーは、トレーニングの安定性と表現のコンパクト性を向上させるためにL2正規化層から開始し、その後PReLU活性化関数を用いた5つのデコンボリューションブロックを実装。
• 異なるコード長（符号化次元）を持つ複数のネットワークを用いて可変ビットレートエンコーディングを実現し、各ブロックごとに目標PSNRを満たす最小レートのネットワークを選択。
• 推論段階では、各ブロックに対して選択されたネットワークのエンコーダーを微調整し、デコーダー重みは固定したままブロック単位のコード最適化を実施。
• 正則化項（λ=0.001）を備えたエントロピーに優しい損失関数を用いることで、圧縮可能なコード表現を促進し、エントロピー符号化の効率を向上。
• U-Netに類似したデブロッキングフィルタをデコード後処理として適用し、ブロッキングアーチファクトを低減し、視覚的品質を向上。

実験結果

リサーチクエスチョン

• RQ1 デコーダーにおけるL2正規化は、ニューラル画像圧縮におけるトレーニングおよび推論性能にどのように寄与するか？
• RQ2 区間保存型2値化ノイズは、トレーニング中に量子化の近似をどの程度改善するか？
• RQ3 異なるコード長を持つ複数のネットワークは、ブロックベースシステムにおける効果的な可変ビットレートエンコーディングを可能にするか？
• RQ4 ブロック単位での推論段階コード最適化は、最終的なPSNRおよびビットレートにどのような影響を及ぼすか？
• RQ5 エントロピーに優しい損失、エキスパートの微調整、デブロッキングの併用効果は、全体の圧縮性能にどのように寄与するか？

主な発見

• 全モデルはバリデーションセットで0.151 bppのビットレートで27.055のPSNRを達成し、全コンポーネントを段階的に適用することで28.929のPSNRに向上する。
• エントロピーに優しい損失により、PSNRにわずかな低下が生じるもののビットレートは0.216 bppから0.151 bppに低下し、顕著な圧縮ゲインが得られた。
• L2正規化により、非正規化モデルと同等の性能を達成したが、パラメータ数を20個削減（216対236の符号化次元）し、トレーニング速度とモデルサイズの両方を改善した。
• ブロック単位のコード最適化により、PSNRは28.088から28.929に上昇し、最終的なテストセットPSNRは0.148 bppで27.920に達した。これはBPG（0.148 bppで29.587のPSNR）を上回る視覚的品質と効率性を実現した。
• デブロッキング後処理により、これを行わないモデルと比較して0.296 dBのPSNR向上が得られ、視覚的品質が顕著に向上した。
• 最終モデルはテストセットで0.148 bppのビットレートで27.920のPSNRを達成し、JPEG（0.149 bppで25.612のPSNR）を上回り、BPGと同等のビットレートでより優れた品質を提供した。