[論文レビュー] BlockCNN: A Deep Network for Artifact Removal and Image Compression

Danial Maleki, Soheila Nadalian+2 more|arXiv (Cornell University)|May 1, 2018

Advanced Image Processing Techniques被引用数 13

ひとこと要約

BlockCNN は、異なる学習重みを用いた共有ネットワークアーキテクチャを活用することで、JPEGアーティファクト除去と画像圧縮を同時に実行する統合されたディープラーニングフレームワークを提案する。8×8の画像ブロックを逐次処理し、以前に処理されたブロックからのコンテキストに基づいて強度を予測し、残差を格納する。レガシージェペッグのルーチンを再利用することで、両タスクにおいて優れた性能を達成し、高速かつシンプルである。

ABSTRACT

We present a general technique that performs both artifact removal and image compression. For artifact removal, we input a JPEG image and try to remove its compression artifacts. For compression, we input an image and process its 8 by 8 blocks in a sequence. For each block, we first try to predict its intensities based on previous blocks; then, we store a residual with respect to the input image. Our technique reuses JPEG's legacy compression and decompression routines. Both our artifact removal and our image compression techniques use the same deep network, but with different training weights. Our technique is simple and fast and it significantly improves the performance of artifact removal and image compression.

研究の動機と目的

• JPEGアーティファクト除去と画像圧縮の両方を同時に扱う統合されたディープラーニングフレームワークの開発。
• 既存のJPEG圧縮および復元ルーチンを再利用することで、計算複雑性を低減し、処理速度を向上させる。
• タスク固有の学習重みを備えた単一の共有ネットワークアーキテクチャを用いて、高品質な画像再構成と効率的な圧縮を実現する。
• 画像処理におけるブロックベースの予測と残差符号化のエンドツーエンド学習の可能性を検討する。

提案手法

• 本手法は、画像を8×8のブロックに逐次処理し、事前に処理されたブロックに基づいた強度の予測に深層ニューラルネットワークを用いる。
• 各ブロックについて、予測された強度と実際の強度との間の残差を計算し、その後符号化・格納する。
• 同じ深層ネットワークをアーティファクト除去と圧縮の両方のタスクに使用するが、それぞれのタスクに特化した異なる学習重みを適用する。
• レガシージェペッグの量子化および逆量子化ステップを再利用することで、互換性を維持するとともに、効率を向上させる。
• エンドツーエンドの学習により、アーティファクト除去と圧縮の両状況において再構成誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 単一のディープニューラルネットワークが、アーティファクト除去と画像圧縮の両方を効果的に行えるか？
• RQ2 以前のブロックに基づくブロックワイズ予測は、圧縮効率と再構成品質をどのように向上させるか？
• RQ3 レガシージェペッグルーチンが、現代のディープラーニングフレームワーク内ですべて再利用可能か？
• RQ4 アーティファクト除去と圧縮を同時に最適化することで、個別に最適化されたアプローチよりも優れた性能が得られるか？

主な発見

• BlockCNN は、以前に処理されたブロックからのコンテキストを活用することで、JPEGアーティファクト除去において顕著な性能向上を達成する。
• 画像再構成における残差誤差が低減され、視覚的品質が向上し、歪みが低減される。
• JPEGの圧縮パイプラインを再利用することで、後方互換性が保たれ、計算オーバーヘッドが低減される。
• タスク固有の重みを備えた統合ネットワークは、アーティファクト除去と圧縮のための個別モデルを上回る性能を発揮する。