[論文レビュー] Improved Lossy Image Compression with Priming and Spatially Adaptive Bit Rates for Recurrent Networks

Nick Johnston, Damien Vincent+7 more|arXiv (Cornell University)|Mar 29, 2017

Advanced Data Compression Techniques参考文献 18被引用数 27

ひとこと要約

本論文では、SSIMを用いた知覚的重み付き損失、隠れ状態のプリミング、空間的に適応するビットレート（SABR）の3つの鍵となる革新を用いて、ロスイー画像圧縮性能を向上させる再帰的ニューラルネットワークベースの画像圧縮手法を提案する。この手法は、KodakおよびTecnickデータセットにおいて、BPG、WebP、JPEG2000、JPEGを上回る最先端のMS-SSIM性能を達成し、同等の品質レベルで最大25%のビットレート低減を実現した。

ABSTRACT

We propose a method for lossy image compression based on recurrent, convolutional neural networks that outperforms BPG (4:2:0 ), WebP, JPEG2000, and JPEG as measured by MS-SSIM. We introduce three improvements over previous research that lead to this state-of-the-art result. First, we show that training with a pixel-wise loss weighted by SSIM increases reconstruction quality according to several metrics. Second, we modify the recurrent architecture to improve spatial diffusion, which allows the network to more effectively capture and propagate image information through the network's hidden state. Finally, in addition to lossless entropy coding, we use a spatially adaptive bit allocation algorithm to more efficiently use the limited number of bits to encode visually complex image regions. We evaluate our method on the Kodak and Tecnick image sets and compare against standard codecs as well recently published methods based on deep neural networks.

研究の動機と目的

• 既存の標準コーデックおよびニューラルネットワークベースの手法を上回るロスイー画像圧縮性能の向上を図ること。
• ニューラル画像圧縮における固定レートおよび非適応的ビット割り当ての限界を解消すること。
• 訓練目的に知覚的類似度（SSIM）を組み込むことで再構成品質を向上させること。
• 顕著な計算負荷増加を伴わずに、再帰的デコーダーにおける隠れ状態のプリミングにより空間的文脈を強化すること。
• 局所的な複雑さに基づいて画像領域毎にビットレートを適応的に割り当てることで、効率的なビット割り当てを可能とすること。

提案手法

• 各イテレーションで、元の画像と前の再構成画像との残差を符号化する再帰的オートエンコーダー構造を採用する。
• 構造的類似度（SSIM）でスケーリングされた知覚的重み付きL1損失を適用し、訓練中に視覚的に重要な画像領域を優先する。
• 複数回のエンコーダ-デコーダーイテレーションを事前に実行することで、再帰的状態における初期文脈を豊かにする隠れ状態のプリミングを導入する。
• 学習された高さマップを用いて、複雑な画像領域に多くのビットを、単純な領域に少ないビットを動的に割り当てる空間的に適応するビットレート（SABR）を実装する。
• SABRとエントロピー符号化を組み合わせることで、品質損ないなしに全体的なレート-歪み効率をさらに向上させ、全体のビットレートを低減する。
• 非微分可能な量子化ステップのエンドツーエンド学習を可能とするために、加法的均一ノイズによる微分可能近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 SSIMに基づく知覚的重み付き訓練損失は、ニューラル画像圧縮における画像再構成品質の向上に寄与するか？
• RQ2 再帰的オートエンコーダー構造における隠れ状態のプリミングは、空間的文脈を強化し、再構成忠実度を向上させるか？
• RQ3 空間的に適応するビットレート割り当ては、複雑な画像領域の視覚的品質を維持したまま、全体のビットレートを低減できるか？
• RQ4 プリミング、SSIM重み付き損失、SABRの組み合わせ効果は、BPG、WebP、JPEG2000といった最先端のコーデックと比較して、レート-歪み性能で優れているか？
• RQ5 提案手法は、MS-SSIMおよびPSNR指標において、以前のニューラルネットワークベースの圧縮モデルをどの程度上回るか？

主な発見

• Kodakデータセットにおいて、Bjøntegaard Deltaで測定したところ、MS-SSIM水準が同一のJPEGと比較して25.19%のビットレート低減を達成した。
• Kodakデータセットにおいて、同じMS-SSIM品質下でBPG 4:2:0と比較して17.36%のビットレート低減を達成した。
• SABRとプリミングを組み合わせたモデルは、BPG 4:4:4が44.10 MS-SSIMを達成するよりも低いビットレートで45.65 MS-SSIMを達成した。
• プリミングとSABRの組み合わせにより、TheisらやTodericiらの手法を含む以前のニューラルネットワークベースの手法を上回るMS-SSIMのレート-歪み曲線を達成した。
• 同じPSNRレベルでTodericiら[21]と比較して44.98%のビットレート低減を達成し、顕著な効率向上を示した。
• Tecnickデータセットにおいて、同じMS-SSIM品質下でWebPと比較して24.28%のビットレート低減を達成し、データセット間での一般化性能が優れていることが示された。