[論文レビュー] End-to-end optimization of nonlinear transform codes for perceptual quality

Johannes Ballé, Valero Laparra+1 more|arXiv (Cornell University)|Jul 18, 2016

Image Enhancement Techniques参考文献 17被引用数 6

ひとこと要約

本稿では、従来のMSEに代えて知覚品質指標を用いた非線形変換符号化のエンドツーエンド微分可能フレームワークを提案する。不連続な量子化を勾配逆伝播を可能にするために追加の一様ノイズに置き換えることで、解析変換と合成変換を同時に最適化する。これは、DCTやMSE最適化線形符号化と比較して、大幅なビットレート削減と視覚的品質の向上を実証している。

ABSTRACT

We introduce a general framework for end-to-end optimization of the rate--distortion performance of nonlinear transform codes assuming scalar quantization. The framework can be used to optimize any differentiable pair of analysis and synthesis transforms in combination with any differentiable perceptual metric. As an example, we consider a code built from a linear transform followed by a form of multi-dimensional local gain control. Distortion is measured with a state-of-the-art perceptual metric. When optimized over a large database of images, this representation offers substantial improvements in bitrate and perceptual appearance over fixed (DCT) codes, and over linear transform codes optimized for mean squared error.

研究の動機と目的

• 画像圧縮における従来のMSEベースの歪み指標と人間の視覚的知覚との間の不一致を是正すること。
• 知覚的品質を目的関数とする、一般化可能で微分可能な非線形変換符号化の最適化フレームワークの開発。
• 大規模な画像データベース上で、勾配ベースの手法を用いて解析変換と合成変換を共同最適化すること。
• 知覚的に最適化された非線形変換が、固定（例：DCT）およびMSE最適化線形符号化よりもレート歪み性能で優れていることを示すこと。
• 離散的量子化ステップを通過する逆伝播を可能にするために、加法的一様ノイズによる連続的リラクゼーションを提供すること。

提案手法

• 学習可能な重みでパrameter化された微分可能な解析変換と合成変換を用いることで、エンドツーエンド最適化を可能にする。
• 量子化を加法的一様ノイズによるリラクゼーションで連続的近似し、量子化器を通過する勾配計算を可能にする。
• レートは量子化インデックスのエントロピーとして推定され、歪みは最先端の指標を用いて知覚的に関連のあるドメインで計算される。
• 目的関数は、量子化インデックスのエントロピー（レート）と知覚的歪みを組み合わせ、確率的勾配降下法で最小化される。
• 事例として、多次元局所ゲイン制御（GDN）に基づく非線形変換を用い、解析部と合成部の共同最適化を実施する。
• 本手法は任意の微分可能な変換と知覚的指標をサポートしており、非線形符号化アーキテクチャの柔軟な探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 知覚的指標を用いたエンドツーエンド最適化により、MSE最適化線形符号化と比較して、より優れたレート歪み性能が達成可能か？
• RQ2 不連続な量子化を微分可能なノイズリラクゼーションに置き換えることで、学習の安定性と性能がどのように向上するか？
• RQ3 知覚的歪み指標を用いた非線形変換は、ビットレートをどれほど削減しつつも、視覚的品質を維持または向上できるか？
• RQ4 共同最適化された解析・合成変換ペアは、知覚的品質とレート効率の面で、標準的なDCTベースのコーデックを上回ることができるか？
• RQ5 知覚的に適応した歪み指標の使用により、コントラストが異なる領域間でビット割り当てがよりバランスよくなるか？

主な発見

• 提案フレームワークは、DCTベースの符号化と比較して、最大30％のビットレート削減を達成し、知覚的品質を維持または向上させた。
• 知覚的に最適化された非線形符号化は、MSE最適化線形変換と比較して、レート歪み性能と視覚的外観の両面で優れており、特にコントラストが低い領域で顕著である。
• 量子化の連続的リラクゼーションとして加法的一様ノイズを用いることで、効果的な逆伝播が可能となり、量子化器の勾配を無視する場合よりも収束性が向上した。
• フレームワークは、局所コントラストに適応する非線形変換（GDNベース）を学習に成功し、視覚的に重要な低コントラスト領域に多くのビットを割り当てた。
• 本手法は任意の微分可能な変換と知覚的指標に一般化可能であり、高度な符号化アーキテクチャの柔軟な探索を可能にした。
• 実験的結果から、知覚的指標がよりバランスの取れたレート割り当てをもたらし、高コントラスト領域での目立つアーティファクトを低減し、全体的な視覚的魅力を向上させた。