[論文レビュー] DPW-SDNet: Dual Pixel-Wavelet Domain Deep CNNs for Soft Decoding of JPEG-Compressed Images

Honggang Chen, Xiaohai He+3 more|arXiv (Cornell University)|May 27, 2018

Image and Signal Denoising Methods参考文献 33被引用数 7

ひとこと要約

本稿では、ピクセル領域および1レベルの離散ウェーブレット変換（DWT）領域の両方でJPEG圧縮画像を同時に復元する二重ドメインの深層畳み込みニューラルネットワーク（DPW-SDNet）を提案する。ダウンサンプル画像とDWT係数から得られる4チャネル入力を用いることで、低ビットレートにおけるブロッキングやぼやけのアーティファクトを著しく低減し、従来手法に比べて最大2.4 dBのPSNR向上を達成しながら、計算効率を維持している。

ABSTRACT

JPEG is one of the widely used lossy compression methods. JPEG-compressed images usually suffer from compression artifacts including blocking and blurring, especially at low bit-rates. Soft decoding is an effective solution to improve the quality of compressed images without changing codec or introducing extra coding bits. Inspired by the excellent performance of the deep convolutional neural networks (CNNs) on both low-level and high-level computer vision problems, we develop a dual pixel-wavelet domain deep CNNs-based soft decoding network for JPEG-compressed images, namely DPW-SDNet. The pixel domain deep network takes the four downsampled versions of the compressed image to form a 4-channel input and outputs a pixel domain prediction, while the wavelet domain deep network uses the 1-level discrete wavelet transformation (DWT) coefficients to form a 4-channel input to produce a DWT domain prediction. The pixel domain and wavelet domain estimates are combined to generate the final soft decoded result. Experimental results demonstrate the superiority of the proposed DPW-SDNet over several state-of-the-art compression artifacts reduction algorithms.

研究の動機と目的

• 低ビットレートにおけるJPEG圧縮画像に生じる、特にブロッキングやぼやけのアーティファクトという長年の問題に取り組むこと。
• 元のコーデックを変更せず、追加の符号化ビットを追加せずに画像品質を向上させるソフトデコード手法を開発すること。
• ピクセル領域とウェーブレット領域の補完的表現を活用することで、復元性能を向上させること。
• 計算コストを低減しつつ高い精度を維持できる、小さなリシェイプされたテンソルを処理する効率的なネットワークアーキテクチャを設計すること。

提案手法

• 本手法は二重ブランチのCNNアーキテクチャを採用する：一方のブランチは、圧縮画像の4つのダウンサンプル版をピクセル領域で処理し、4チャネル入力テンソルを形成する。
• もう一方のブランチは、圧縮画像に1レベルのDWTを適用し、得られた係数をウェーブレット領域処理用の4チャネル入力テンソルとして用いる。
• 各ブランチは、それぞれのドメイン内でのアーティファクト低減画像の予測を学習する深層CNNから構成される。
• ピクセル領域とウェーブレット領域の予測結果を統合して、最終的なソフトデコード出力を生成する。
• 歪みを最小限に抑え、構造的詳細を保持するため、知覚的損失と再構成損失を用いてエンドツーエンドでネットワークを訓練する。
• 効率性を維持するため、小さなサイズのテンソルを用いることで、高速な推論を実現しながら高い性能を達成している。

実験結果

リサーチクエスチョン

• RQ1 ピクセル領域とウェーブレット領域の両方で同時に学習することで、単一ドメイン手法に比べてソフトデコードされたJPEG画像の品質が向上するか？
• RQ2 ダウンサンプル画像とDWT係数から得られる4チャネル入力が、特徴表現の向上とアーティファクト低減にどのように寄与するか？
• RQ3 PSNR、SSIM、知覚的品質の観点から、二重ドメイン統合戦略は、既存の最先端手法をどの程度上回るか？
• RQ4 特定の量子化ファクターを事前に知らなくても、一様なモデル（盲目的DPW-SDNet）が複数の量子化ファクターに一般化して高い性能を維持できるか？
• RQ5 DPW-SDNetの学習収束速度と推論速度は、他の深層学習ベースのソフトデコード手法と比較してどの程度か？

主な発見

• DPW-SDNetはClassic5およびLIVE1データセットで最先端の性能を達成し、QF=10におけるDnCNN-3に比べて最大2.4 dBのPSNR向上を達成した。
• QF=40では、Classic5データセットで34.07 dBのPSNR、0.9039のSSIM、33.24 dBのPSNR-Bを達成し、比較した全手法を上回った。
• 盲目的バージョンであるB-DPW-SDNetは、複数のQFで安定した高い性能を維持しており、元のQFが不明であってもDnCNN-3を常に上回った。
• 学習は200,000イテレーション以内に収束し、GPU上で1枚あたり2秒未塔で推論が可能であり、高い効率性を示した。
• 二重ドメイン統合戦略により、ブロッキングやぼやけのアーティファクトが顕著に低減され、図1で視覚的にも確認された。特にテクスチャ回復が向上した。
• 計算的にも効率的であり、単一のGTX 1080 Ti GPUで学習に約9時間で完了し、GPUアクセcelerationにより推論が高速化された。