[論文レビュー] Target-Quality Image Compression with Recurrent, Convolutional Neural Networks

Michele Covell, Nick Johnston+6 more|arXiv (Cornell University)|May 18, 2017

Advanced Image Processing Techniques参考文献 6被引用数 9

ひとこと要約

本論文は、画像圧縮における再帰的・畳み込みニューラルネットワークに対してストップコード耐性（SCT）トレーニング手法を提案し、コンテンツの複雑さに応じて画像領域ごとに適応的シンボル割り当てを可能にする。2パスのトレーニングプロセスにより、コードのカットに対する耐性を強化し、エントロピー符号化効率を向上させることで、Kodakデータセット全体でJPEGおよび非SCT RNNオートエンコーダーよりも低いビットレートと、より高くて均一な画像品質を達成する。

ABSTRACT

We introduce a stop-code tolerant (SCT) approach to training recurrent convolutional neural networks for lossy image compression. Our methods introduce a multi-pass training method to combine the training goals of high-quality reconstructions in areas around stop-code masking as well as in highly-detailed areas. These methods lead to lower true bitrates for a given recursion count, both pre- and post-entropy coding, even using unstructured LZ77 code compression. The pre-LZ77 gains are achieved by trimming stop codes. The post-LZ77 gains are due to the highly unequal distributions of 0/1 codes from the SCT architectures. With these code compressions, the SCT architecture maintains or exceeds the image quality at all compression rates compared to JPEG and to RNN auto-encoders across the Kodak dataset. In addition, the SCT coding results in lower variance in image quality across the extent of the image, a characteristic that has been shown to be important in human ratings of image quality

研究の動機と目的

• 従来のニューラルネットワークベースの画像圧縮手法では、複雑さにかかわらずすべての画像領域に同じシンボル数を割り当てていたという制限を解消すること。
• 単純な領域では少ないシンボル、複雑な領域では多くのシンボルを送信できる適応的シンボル伝送を可能にすることで、ブロッキングアーチファクトを生じさせることなくビットレートを低減し、再構築品質を向上させること。
• 再帰的・畳み込みオートエンコーダーがストップコードマスキングやコードカットに対して耐性を持つようにトレーニングする手法を開発すること。これにより、アーチファクトやぼやけを回避できる。
• SCTアーキテクチャ設計により、0/1コードの分布を著しく不均一にすることで、エントロピー符号化（例：LZ77）の効率を向上させること。
• 全再構築領域にわたる画像品質の均一性を高めることで、人間の品質認識と相関の高い要因を達成すること。

提案手法

• 2パスのトレーニング手順を導入：1パス目では、コードカットをシミュレートするため、人工的にマスキングされたストップコードでデコーダーをトレーニングし、耐性を確保する。
• 2パス目では、前イテレーションのバイナリコードから自然に生成されたマスクを用いて、標準的な再構築を実行し、主な損失関数を形成する。
• ストップコードの挙動は、発行された後は前方に伝搬させるマスキング論理によって強制され、欠落したシンボルに依存しなくなる。
• アーキテクチャは、LSTMユニットと空間的ダウンサンプリングを用いた完全畳み込み型の再帰的オートエンコーダーであり、$\frac{H}{16} \times \frac{W}{16}$ のコード表現を生成する。
• デコーダーは「ディープスケール」シャッフルを用いて、コード表現を元の$H \times W$ 解像度にアップサンプリングする。
• 本手法は完全畳み込み構造を維持しており、JPEG や WebP で一般的なブロックベースのアーチファクトを回避する。

実験結果

リサーチクエスチョン

• RQ1 ストップコードマスキングやコードカットがあっても、再帰的・畳み込みニューラルネットワークが高品質な再構築を維持できるか？
• RQ2 単純な画像領域でシンボル数を減らす適応的シンボル割り当ては、品質を損なわせることなく、全体のビットレートを低減できるか？
• RQ3 提案された2パストレーニング手法は、再構築全体にわたる品質のばらつきを低減し、知覚的整合性を向上させられるか？
• RQ4 SCTアーキテクチャは、非SCTネットワークと比較して、エントロピー符号化効率（例：LZ77）をどの程度向上させられるか？
• RQ5 本手法は、複数の圧縮レートにおいて、JPEG や従来の RNN ベースのオートエンコーダーを上回るレート・ディストーション性能を達成できるか？

主な発見

• SCT手法は、最良ケースで名目ビットレート比で35％のビットレート低減を達成し、そのうち30％はストップコードカット、5％はLZ77圧縮の向上によるものである。
• 名目レート0.125 bppの状態で、SCT再構築はLZ77およびストップコードカット後に0.115 bppにまで低下し、非SCTは0.121 bppにとどまる。
• 約0.75 bppのレートで、SCT再構築は非SCTと比較して$L_1$タイル誤差の平均が11％低く、標準偏差も11％低く、品質の均一性が向上している。
• Kodakデータセットにおいて、SCTアーキテクチャはJPEGおよび非SCT RNNオートエンコーダーと比較して、すべての圧縮レートで品質を維持または上回る。
• 本手法は、推論時に補正を行うのではなく、初期段階からコードカットに耐性を持つようにネットワークをトレーニングすることで、ブロッキングアーチファクトとぼやけを低減する。
• 2パストレーニングプロセスにより、ストップコード耐性と表現力のバランスが取れたシンボル割り当てに収束でき、耐性と圧縮効率の両方を向上させた。