[論文レビュー] Flexible Neural Image Compression via Code Editing

Chenjian Gao, Tongda Xu+3 more|arXiv (Cornell University)|Sep 19, 2022

Cell Image Analysis Techniques被引用数 5

ひとこと要約

この論文では、1つのデコーダーを用いて連続的なレート・ディストーション（R-D）トレードオフ、注目領域（ROI）コーディング、マルチディストーション最適化を可能にする、柔軟なニューラル画像圧縮のための新規フレームワークであるCode Editingを提案する。半アモルタイズド推論と適応的量子化を活用することで、再訓練を必要とせず推論時に潜在表現を編集し、変動するビットレート制御を実現し、従来手法に比してR-D性能と柔軟性の両面で優れている。

ABSTRACT

Neural image compression (NIC) has outperformed traditional image codecs in rate-distortion (R-D) performance. However, it usually requires a dedicated encoder-decoder pair for each point on R-D curve, which greatly hinders its practical deployment. While some recent works have enabled bitrate control via conditional coding, they impose strong prior during training and provide limited flexibility. In this paper we propose Code Editing, a highly flexible coding method for NIC based on semi-amortized inference and adaptive quantization. Our work is a new paradigm for variable bitrate NIC. Furthermore, experimental results show that our method surpasses existing variable-rate methods, and achieves ROI coding and multi-distortion trade-off with a single decoder.

研究の動機と目的

• ニューラル画像圧縮（NIC）において、通常各R-Dポイントごとに別々のモデルを必要とする柔軟なビットレート制御の欠如を解消すること。
• 離散的かつ事前に定義されたラグランジュ乗数に依存する条件付きNIC手法の限界を克服し、補間時に性能が低下する問題を解消すること。
• 従来のコーデックに類似した、細分化された連続的R-Dトレードオフと空間的に適応的なビット割り当てを実現しつつ、ニューラルネットワークの性能を活かすこと。
• これまでこの文脈で未検討であった、変動するレートを伴うNICにおける半アモルタイズド推論の可能性を調査すること。
• 1つのモデルとデコーダーを用いて、MSEとLPIPSの間でバランスを取るようなマルチディストーショントレードオフを実現すること。

提案手法

• Code Editingは、望ましいR-Dトレードオフに基づき、推論時に潜在表現を最適化する半アモルタイズド推論を用いる。この最適化はラグランジュ乗数λによってパrameter化される。
• ベースとなるλ₀で事前学習済みエンコーダーを用いて潜在表現を初期化し、その後、目的のλに達するまで勾配ベースの最適化を実行する。
• 性能の安定化とスピード・パフォーマンスのトレードオフの改善を図るため、適応的量子化ステップサイズを導入する。
• 注目領域（ROI）マップを適用することで、領域ごとの潜在表現の最適化を制御し、任意の空間的ビット割り当てを可能にする。
• 損失関数を変更し、学習可能な重みを備えた知覚的（例：LPIPS）および忠実度（例：MSE）の項を含めることで、マルチディストーショントレードオフを実現する。
• すべての処理は、1つの固定されたデコーダーとエントロピー・モデルで実行され、ベースとなるλ₀でのみ1回の学習が行われる。

実験結果

リサーチクエスチョン

• RQ1 半アモルタイズド推論は、ニューラル画像圧縮における連続的かつ柔軟なビットレート制御を実現するために効果的に活用可能か？
• RQ2 Code Editingは、1つのデコーダーと固定モデルを用いても、従来の変動レートNIC手法を上回るR-D性能を達成できるか？
• RQ3 再トレーニングや複雑な事前分布を必要とせず、ROIベースのコーディングに適した空間的ビット割り当てを実現できるか？
• RQ4 1つのモデルとデコーダーを用いて、マルチディストーショントレードオフ（例：MSEとLPIPSのバランス）を実現できるか？
• RQ5 適応的量子化は、Code Editingの性能と効率性をどのように向上させるか？

主な発見

• Code Editing Enhancedは、Theis et al. (2017)、Cui et al. (2021)、Song et al. (2021) の3つのベースラインにおいて、R-D性能の面ですべての手法を上回っている。
• 1つのデコーダーとエントロピー・モデルのみで、広いビットレート範囲（例：低〜中域、約0.5 bpp）における連続的R-Dトレードオフを達成している。
• 任意の形状のマスク（例：チェッカーパターン、アルファベット）を用いたROIベースのコーディングが成功裏に実現され、ROIマップの効果が薄れる問題を抱える先行手法に比して優れた性能を示している。
• 定性的な結果から、LPIPS重みλₚが増加するにつれて知覚的品質が向上しており、効果的なマルチディストーショントレードオフが実現されていることが確認された。
• Theis et al. (2017) が劣化を示す高ビットレート領域において、本手法は顕著な性能向上を達成している。
• 適応的量子化ステップサイズは、特に高レート領域において、Code Editingの安定性と性能を顕著に向上させている。