[論文レビュー] Enhanced Invertible Encoding for Learned Image Compression

Yueqi Xie, Ka Leong Cheng+1 more|arXiv (Cornell University)|Aug 8, 2021

Advanced Data Compression Techniques参考文献 42被引用数 9

ひとこと要約

本論文では、従来のオートエンコーダー型エンコーダーに代わり、情報損失を低減するための可逆ニューラルネットワーク（INNs）を用いた強化された可逆符号化ネットワークを提案する。安定した次元削減を実現するための注意型チャネル圧縮層と、非線形性を向上させるための特徴強化モジュールを導入することで、Kodak、CLIC、Tecnickデータセットにおいて最先端の性能を達成し、特に高解像度においてVVC（VTM 12.1）を上回る。

ABSTRACT

Although deep learning based image compression methods have achieved promising progress these days, the performance of these methods still cannot match the latest compression standard Versatile Video Coding (VVC). Most of the recent developments focus on designing a more accurate and flexible entropy model that can better parameterize the distributions of the latent features. However, few efforts are devoted to structuring a better transformation between the image space and the latent feature space. In this paper, instead of employing previous autoencoder style networks to build this transformation, we propose an enhanced Invertible Encoding Network with invertible neural networks (INNs) to largely mitigate the information loss problem for better compression. Experimental results on the Kodak, CLIC, and Tecnick datasets show that our method outperforms the existing learned image compression methods and compression standards, including VVC (VTM 12.1), especially for high-resolution images. Our source code is available at https://github.com/xyq7/InvCompress.

研究の動機と目的

• 非可逆なオートエンコーダー型エンコーダーに起因する学習型画像符号化における情報損失問題に対処すること。
• 従来のINNベースの符号化手法における不安定性と表現能力の制限を克服すること。
• 符号化・復号プロセスにおいて厳密な可逆性を維持することで、最小限の情報損失で高レート符号化を実現すること。
• 不確実なサンプリング手法の代わりに学習可能な注意型チャネル圧縮層を導入することで、INNの学習を安定化させること。
• 可逆性を損なわずに残差接続と同一解像度変換を用いた非線形特徴強化モジュールを設計し、INNの非線形表現能力を向上させること。

提案手法

• 画像と潜在特徴空間の間で厳密に可逆な変換を保証するため、コアアーキテクチャとして可逆ニューラルネットワーク（INNs）を採用する。
• チャネルグループの平均化により特徴次元を削減する注意型チャネル圧縮層を導入し、低ビットレート符号化を可能にしながら可逆性を維持する。
• 元の特徴と圧縮済み特徴の平均絶対偏差を正規化するスケーリング要因μを用い、品質レベル間での相対的情報損失の公平な比較を可能にする。
• 残差接続と同一解像度変換を備えた非線形特徴強化モジュールを設計し、可逆性を損なわずに表現能力を向上させる。
• 従来のINN手法における不安定なサンプリングベースの逆伝播を、チャネルコピーによる決定的で微分可能な逆演算に置き換える。
• 算術符号化を用いたエントロピーモデリングと、レート・歪みの共同最適化に基づくエンドツーエンドのネットワーク学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 可逆ニューラルネットワーク（INNs）は、オートエンコーダー型手法と比較して、学習型画像符号化に効果的に統合可能であり、情報損失を低減できるか？
• RQ2 低ビットレート符号化のための次元削減を適用する際、INNベースの符号化における学習の不安定性はどのように緩和できるか？
• RQ3 提案された特徴強化モジュールは、画像符号化におけるINNの非線形表現能力をどの程度向上させるか？
• RQ4 注意型チャネル圧縮層は、可逆性を保持しつつ、特徴次元の制御を安定的かつスケーラブルに行えるか？
• RQ5 高解像度画像データセットにおいて、提案手法は最先端の学習型符号化手法および従来のコーデック（VVC）と比較してどのように優れているか？

主な発見

• 提案手法は、Kodak、CLIC、Tecnickデータセットにおいて、従来の学習型画像符号化手法およびVVC（VTM 12.1）を上回る性能を発揮し、特に高解像度において顕著な優位性を示した。
• CLICプロフェッショナルバリデーションデータセットにおいて、同等のビットレートでVVCを上回るPSNRおよびMS-SSIMを達成し、高解像度画像における優れた性能を実証した。
• アブレーションスタディの結果、非線形特徴強化モジュールが圧縮性能を向上させ、より低いビットレートと高いPSNR/MS-SSIM値を達成した。
• 元の特徴と圧縮済み特徴の間のスケーリング済み平均絶対偏差（ε̃）は一貫して低く、量子化誤差と同等またはそれ未満に保たれており、最小限の情報損失を示している。
• 視覚的結果では、同程度のビットレートでも、VVCや他の最先端手法と比較して、再構成画像がより多くの微細なディテールを保持していた。
• 相対的偏差（ε̃）は品質レベルが向上するにつれて減少し、注意型チャネル圧縮層の平均化操作に起因する歪みが、高品質モデルではより小さいことが確認された。