[論文レビュー] End-to-end Optimized Image Compression

Johannes Ballé, Valero Laparra+1 more|arXiv (Cornell University)|Nov 5, 2016

Image and Signal Denoising Methods参考文献 31被引用数 1,010

ひとこと要約

本論文は、generalized divisive normalization (GDN) の非線形変換符号化モデルと uniform quantization をエンドツーエンドで最適化してレート–歪みを最適化し、JPEG および JPEG 2000 に対して知覚品質が優れ、レート–歪みの競争力を発揮する。

ABSTRACT

We describe an image compression method, consisting of a nonlinear analysis transformation, a uniform quantizer, and a nonlinear synthesis transformation. The transforms are constructed in three successive stages of convolutional linear filters and nonlinear activation functions. Unlike most convolutional neural networks, the joint nonlinearity is chosen to implement a form of local gain control, inspired by those used to model biological neurons. Using a variant of stochastic gradient descent, we jointly optimize the entire model for rate-distortion performance over a database of training images, introducing a continuous proxy for the discontinuous loss function arising from the quantizer. Under certain conditions, the relaxed loss function may be interpreted as the log likelihood of a generative model, as implemented by a variational autoencoder. Unlike these models, however, the compression model must operate at any given point along the rate-distortion curve, as specified by a trade-off parameter. Across an independent set of test images, we find that the optimized method generally exhibits better rate-distortion performance than the standard JPEG and JPEG 2000 compression methods. More importantly, we observe a dramatic improvement in visual quality for all images at all bit rates, which is supported by objective quality estimates using MS-SSIM.

研究の動機と目的

• 学習可能な非線形変換符号化フレームワークを用いて、損失のある画像圧縮問題に動機づけ、対処する。
• レート–歪み目的の下での解析/合成変換のエンドツーエンド最適化を導入する。
• 局所的な画像統計をガウス化するための generalized divisive normalization (GDN) nonlinear gain control を活用する。
• 微分可能な量子化の緩和を用いて、確率的勾配降下法最適化を可能にする。
• JPEG および JPEG 2000 に対して、改善されたレート–歪み性能と substantial perceptual quality gains を示す。）

提案手法

• 解析変換を形成するために、畳み込みフィルタの3段階カスケードと generalized divisive normalization (GDN) を用いる。
• uniform scalar quantization in the code space の後に、近似的な逆変換 IGDN を伴う対応する3段階の合成変換を適用する。
• コード空間の勾配ベース最適化を可能にしつつ、量子化の緩和を additive uniform noise で行い、量子化コードのエントロピーに基づくレート項を対象とする。
• continuous relaxation を用いて、解析/合成変換とエントロピーモデルを共同最適化し、損失 L = E[ -log2 p(Ã y) + λ d(z, ẑ) ] を最小化し、レートと歪みを近似する。
• 訓練中に更新される非パラメトリックな、区分的に線形な密度で code-space marginals p(Ã y) をモデル化する。
• このフレームワークを変分オートエンコーダーに関連付け、類似点と主要な相違点（離散圧縮、エンドツーエンドのレート–歪みハull）を強調する。

実験結果

リサーチクエスチョン

• RQ1 自然画像のレート–歪み性能を改善するために、非線形変換コードのエンドツーエンド最適化は有効か。
• RQ2 生物学的にインスパired な非線形ゲイン制御（GDN/IGDN）は画像統計をより良く Gaussianize し、符号化効率を改善するのか。
• RQ3 λのさまざまなトレードオフを跨ぐレート–歪み目的の最適化が知覚品質と従来指標に与える影響はどうか。
• RQ4 提案手法は objective 指標（MS-SSIM, PSNR）および視覚品質の点で、bit rate にまたがり JPEG および JPEG 2000 と比較してどうか。

主な発見

• 提案手法は、テスト画像に対して JPEG および JPEG 2000 よりもしばしば優れたレート–歪み性能を示す。
• 比較的なビットレートで、MS-SSIM が substantially 高く、画像とビットレート全体にわたり知覚品質が優れている。
• 代表的な例として、JPEG: 0.121 bit/px with PSNR Luma 24.85 dB and MS-SSIM 0.8079; JPEG 2000: 0.113 bit/px with PSNR Luma 26.61 dB and MS-SSIM 0.8860; Proposed method: 0.113 bit/px with PSNR Luma 27.01 dB and MS-SSIM 0.9039.
• 視覚品質の優位性には、リニア変換コーデックと比べてブロッキングおよびリフ rings アーチファクトの低減が含まれ、ビットレートを超えて滑らかな輪郭とエッジの保持が見られる。
• 本法は、すべてのテスト画像とビットレートで知覚的改善を示すMS-SSIMベースの評価によって裏付けられている。
• 訓練は continuous relaxation が離散的なレート–歪み目的の良好な近似を提供し、エンドツーエンド最適化を効果的に可能にすることを示している。
• MSE で訓練されたとしても、視覚的には優れた結果をもたらすアプローチであり、知覚指標を訓練に用いた場合には潜在的な利得があることを示唆する。