[論文レビュー] Efficient Trimmed Convolutional Arithmetic Encoding for Lossless Image Compression.

Mu Li, Shuhang Gu+2 more|arXiv (Cornell University)|Jan 15, 2018

Advanced Data Compression Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、1回の順方向伝搬で大規模な文脈をモデル化できる特別に設計されたトリムド畳み込みネットワークを用いて、計算効率の良い損失なし画像圧縮のための方法であるトリムド畳み込み算術符号化（TCAE）を提案する。圧縮順序と文脈依存性を尊重することで、TCAEは優れた圧縮比とリアルタイム性能を達成し、従来のCNNおよびRNNベースの手法よりも、損失なしおよび損失あり圧縮の両設定で優れている。

ABSTRACT

Arithmetic encoding is an essential class of coding techniques which have been widely used in various data compression systems and exhibited promising performance. One key issue of arithmetic encoding method is to predict the probability of the current symbol to be encoded from its context, i.e., the preceding encoded symbols, which usually can be executed by building a look-up table (LUT). However, the complexity of LUT increases exponentially with the length of context. Thus, such solutions are limited in modeling large context, which inevitably restricts the compression performance. Several recent convolutional neural network (CNN) and recurrent neural network (RNN)-based solutions have been developed to account for large context, but are still costly in computation. The inefficiency of the existing methods are mainly attributed to that probability prediction is performed independently for the neighboring symbols, which actually can be efficiently conducted by shared computation. To this end, we propose a trimmed convolutional network for arithmetic encoding (TCAE) to model large context while maintaining computational efficiency. As for trimmed convolution, the convolutional kernels are specially trimmed to respect the compression order and context dependency of the input symbols. Benefited from trimmed convolution, the probability prediction of all symbols can be efficiently performed in one single forward pass via a fully convolutional network. Experiments show that our TCAE attains better compression ratio in lossless gray image compression, and can be adopted in CNN-based lossy image compression to achieve state-of-the-art rate-distortion performance with real-time encoding speed.

研究の動機と目的

• 大規模な照合テーブル（LUT）に依存する従来の算術符号化手法の計算非効率性を解消すること。
• 大規模な文脈をモデル化する際、LUTの指数的増大に起因する計算複雑性の問題を克服すること。
• 通常、各シンボルを独立して処理するため、深層学習ベースの確率予測の計算コストを低減すること。
• 圧縮順序を尊重するように畳み込み演算を再構成することで、隣接するシンボル間で計算を共有し、計算コストを削減すること。
• 提案されたアーキテクチャを用いて、リアルタイムの符号化速度を達成しつつ、損失あり画像圧縮で最先端のレート・リダンドンス性能を実現すること。

提案手法

• 入力シンボルの順序的圧縮順序と文脈依存性を尊重するように、標準的な畳み込みカーネルを変更したトリムド畳み込みネットワークを導入すること。
• 完全畳み込みアーキテクチャにより、すべてのシンボルの確率予測を1回の順方向伝搬で行えるようにネットワークを設計すること。
• 文脈に配慮したカーネルの刈り込みを適用し、不要な計算を排除することで、現在の確率推定に寄与するのは関連する過去のシンボルのみとなるようにすること。
• 完全畳み込み構造を用いることで、画像全体にわたる確率予測において空間的および順序的整合性を維持すること。
• TCAEモジュールを損失なしおよびCNNベースの損失あり画像圧縮パイプラインに統合し、エンドツーエンドの性能を評価すること。
• 隣接するシンボル間で計算を共有することで、独立した予測手法と比較して、計算オーバーヘッドを顕著に削減すること。

実験結果

リサーチクエスチョン

• RQ1 標準的または非構造的な畳み込みと比較して、トリムド畳み込みは算術符号化における確率予測の効率をどのように向上させるか？
• RQ2 計算コストが高くなることなく、算術符号化において大規模な文脈を効率的にモデル化できるように、畳み込みニューラルネットワークをどのように構造化できるか？
• RQ3 TCAEは、リアルタイムの符号化速度を維持しつつ、損失なし画像圧縮における圧縮比をどの程度向上させられるか？
• RQ4 TCAEは、既存のCNNベースの損失あり圧縮フレームワークに効果的に統合可能であり、レート・リダンドンス性能を向上させられるか？
• RQ5 TCAEの計算共有メカニズムは、速度および圧縮効率の両面で、独立したシンボル予測を上回る性能を示せるか？

主な発見

• TCAEは、既存のCNNおよびRNNベースの手法と比較して、損失なしグレースケール画像圧縮においてより優れた圧縮比を達成している。
• 本手法はリアルタイムの符号化速度を実現しており、実世界の圧縮システムへの実用的導入に適している。
• TCAEは、CNNベースの損失あり画像圧縮フレームワークに統合された際、従来の深層学習ベースのアプローチを上回るレート・リダンドンス性能を示している。
• トリムド畳み込み機構により、不要な演算を排除することで計算複雑性が顕著に低減されつつ、文脈モデル化の正確性は保持されている。
• すべてのシンボルを1回の順方向伝搬で処理できる構造により、各シンボルを独立して処理する手法と比較して、顕著な高速化が達成されている。
• 本アーキテクチャは、損失なしおよび損失あり圧縮の両タスクにおいて優れた一般化性能を示しており、その堅牢性とスケーラビリティが裏付けられている。