[論文レビュー] Computationally-Efficient Neural Image Compression with Shallow Decoders

Yibo Yang, Stephan Mandt|arXiv (Cornell University)|Apr 13, 2023

Cell Image Analysis Techniques被引用数 4

ひとこと要約

本稿では、JPEGにインspiredされた浅いまたは線形の合成（復号）変換を用いた、計算効率の高いニューラル画像圧縮手法を提案する。符号化に強力な反復的推論を活用し、強力なハイパープライアを備えることで、復号のためのFLOPs/pixelが50K未満で、標準ベースラインと比較して復号計算量を80%以上削減しながら、最先端のレート・ドレステーション（R-D）性能を達成する。

ABSTRACT

Neural image compression methods have seen increasingly strong performance in recent years. However, they suffer orders of magnitude higher computational complexity compared to traditional codecs, which hinders their real-world deployment. This paper takes a step forward towards closing this gap in decoding complexity by using a shallow or even linear decoding transform resembling that of JPEG. To compensate for the resulting drop in compression performance, we exploit the often asymmetrical computation budget between encoding and decoding, by adopting more powerful encoder networks and iterative encoding. We theoretically formalize the intuition behind, and our experimental results establish a new frontier in the trade-off between rate-distortion and decoding complexity for neural image compression. Specifically, we achieve rate-distortion performance competitive with the established mean-scale hyperprior architecture of Minnen et al. (2018) at less than 50K decoding FLOPs/pixel, reducing the baseline's overall decoding complexity by 80%, or over 90% for the synthesis transform alone. Our code can be found at https://github.com/mandt-lab/shallow-ntc.

研究の動機と目的

• 強力なレート・ドレステーション性能を示すが、実用的展開を妨げる高コストな復号計算量を低減すること。
• 既存手法において80%以上を占める復号計算量の大部分を占める合成（復号）変換の計算負荷を軽減すること。
• JPEGのような古典的コーデックに類似した軽量で線形的、または浅い復号変換の可能性を検討し、高品質な圧縮を維持すること。
• 符号化と復号の計算予算の非対称性を活用し、シンプルなデコーダーを補完するために強力なエンコーダーを用いること。
• ニューラル画像圧縮におけるレート・ドレステーション性能と復号計算量のトレードオフの新たな境界を確立すること。

提案手法

• 標準的なニューラル画像圧縮における深層畳み込み合成変換を、JPEGを模倣した浅いまたは線形の変換に置き換える。
• Minnenら（2018）のMean-Scale Hyperpriorアーキテクチャをベースモデルとし、ハイパープライアは保持しつつ、合成パスを単純化する。
• 離散的潜在表現の向上を図るため、Stochastic Gumbel Annealing（SGA）を用いた反復的推論を採用し、レート・ドレステーション性能を向上させる。
• 浅いかつ線形の変換により損なわれる表現力の回復を図るため、合成パスに1層の隠れ層を導入する。
• 漸近的設定においてR-Dコストを形式化し、強力なエンコーダーと軽量なデコーダーの組み合わせを理論的に正当化する。
• FLOPs/pixelおよびKMACs（千回の乗加算演算）を用いて復号計算量を測定し、古典的コーデックと直接比較可能にする。

実験結果

リサーチクエスチョン

• RQ1 浅いかつ線形の合成変換は、深層ニューラルデコーダーと比較して、競争力あるレート・ドレステーション性能を達成できるか？
• RQ2 反復的推論などの強力な符号化手法が、復号計算量の低減をどの程度補うことができるか？
• RQ3 合成変換が誘導する潜在多様体の曲率および線形性は、圧縮性能にどのように影響するか？
• RQ4 ニューラル損失圧縮における符号化計算量、復号計算量、およびレート・ドレステーションコストの理論的関係は何か？
• RQ5 高度な符号化戦略と組み合わせたJPEGに類似した合成変換は、より深いアーキテクチャを上回る性能を発揮できるか？

主な発見

• 提案手法は、復号に50K FLOPs/pixel未満で、既存のMean-Scale Hyperpriorアーキテクチャと同等のR-D性能を達成し、ベースラインの復号計算量を80%以上削減した。
• 合成変換自体の計算量は90%以上削減され、ほぼ古典的コーデック水準の復号計算量が実現可能であることが示された。
• 合成変換が単純であるにもかかわらず、反復的符号化と強力なハイパープライアのおかげで、優れたR-D性能を維持した。
• 合成変換が誘導する潜在多様体は比較的平坦であり、線形結合を保持していることが判明し、この領域では非線形性が高品質なR-D性能に不可欠ではないことが示唆された。
• 理論的分析により、符号化計算量の増加が推論ギャップを縮小し、R-Dコストを改善することを確認し、強力なエンコーダーと軽量なデコーダーの組み合わせの正当性が裏付けられた。
• エントロピー復号が合計復号計算量の50%〜80%を占めるようになり、計算ボトルネックのシフトが生じ、新たな最適化の機会が開かれた。