[論文レビュー] $\mathbf{D^3}$: Deep Dual-Domain Based Fast Restoration of JPEG-Compressed Images

Zhangyang Wang, Ding Liu+4 more|arXiv (Cornell University)|Jan 16, 2016

Advanced Image Processing Techniques参考文献 28被引用数 3

ひとこと要約

本稿では、JPEG固有の事前知識とスパースコーディングの専門知識を活用して、圧縮画像の復元を実現する深層二重ドメインネットワークD³を提案する。DCTドメインとピクセルドメインにおけるスパarsityを統合し、軽量なワンステップスパースインフェレンス（1-SI）モジュールを導入することで、最先端のPSNR性能を達成—従来の深層モデル比最大1 dBの向上—かつ30倍以上高速であるため、リアルタイムのHDTVおよび動画コーデック応用に適している。

ABSTRACT

In this paper, we design a Deep Dual-Domain ($\mathbf{D^3}$) based fast restoration model to remove artifacts of JPEG compressed images. It leverages the large learning capacity of deep networks, as well as the problem-specific expertise that was hardly incorporated in the past design of deep architectures. For the latter, we take into consideration both the prior knowledge of the JPEG compression scheme, and the successful practice of the sparsity-based dual-domain approach. We further design the One-Step Sparse Inference (1-SI) module, as an efficient and light-weighted feed-forward approximation of sparse coding. Extensive experiments verify the superiority of the proposed $D^3$ model over several state-of-the-art methods. Specifically, our best model is capable of outperforming the latest deep model for around 1 dB in PSNR, and is 30 times faster.

研究の動機と目的

• 一般化された深層学習モデルがJPEG圧縮画像の復元に限界を示すのを補うために、問題特有の事前知識を統合すること。
• 反復的スパースコーディング手法の非効率性を解消するため、順方向で動作する軽量な近似手法を設計すること。
• 計算速度を最適化することで、高フレームレート動画コーデックのリアルタイム後処理を可能にすること。
• 構造的なアーキテクチャ設計により、テキストやエッジなど難しい領域における細部やテクスチャの復元を向上させること。
• JPEG圧縮の知識とスパースコーディングの原則を組み合わせることで、深層ネットワークの性能と解釈可能性が向上することを示すこと。

提案手法

• 2段階の深層ネットワークを設計：第1段階では、学習されたDCTベースのモジュールを用いてDCTドメインでの復元を実行し、高周波成分を回復する。
• 第2段階では、軽量で順方向のネットワークを用いてピクセルドメインでの復元を実行し、アーティファクトを低減し、グローバル構造を精緻化する。
• スパースコーディングの反復的ソルバを置き換える、微分可能で反復を要しない近似手法としてワンステップスパースインフェレンス（1-SI）モジュールを導入する。
• DCT係数の正則化にボックス制約付き損失関数（L_B）を用い、物理的に妥当な解を強制することで、細部の回復を向上させる。
• 高品質な訓練画像からのスパースコーディング結果を用いてネットワークを初期化し、高周波成分の詳細知識を注入する。
• 定数DCTおよび逆DCTレイヤーを微分可能コンponentsとして統合し、ドメイン特有のインダクティブバイアスを有するエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 JPEG圧縮の事前知識と二重ドメインにおけるスパarsityを明示的に統合することで、一般化された深層ネットワークに比べて画像復元性能が向上するか？
• RQ2 軽量で順方向のスパースコーディング近似（1-SI）は、反復的スパースコーディングに比べて速度と精度の面でどのように差をつけるか？
• RQ3 スパースコーディングに基づく初期化は、圧縮画像における細かいテクスチャやテキストの回復にどの程度寄与するか？
• RQ4 微分可能で異なるドメイン（DCT + ピクセル）を組み合わせたアーキテクチャは、単一ドメインまたは非二重ドメインモデルに比べ、PSNRと推論速度の両面で優れているか？
• RQ5 ボックス制約付き損失は、最終出力における高周波成分の細部の保持とアーティファクト低減にどのような影響を及えるか？

主な発見

• D³はLIVE1データセットにおいて最新の深層学習モデル（AR-CNN）に比べ、最大1 dBのPSNR向上を達成し、優れた復元品質を示している。
• 最良のD³モデル（D³-256）は1枚あたり約12 msで処理可能であり、AR-CNNの約400 msに比べ30倍以上高速である。
• 中間出力の結果から、DCTドメインでの復元は高周波成分を強化するが、アーティファクトを発生させることが判明。これらのアーティファクトはピクセルドメイン段階で効果的に抑制されている。
• スパースコーディングに基づく初期化は、テキストやテクスチャの回復を顕著に向上させており、ランダム初期化に置き換えると性能が著しく低下することが示された。
• ボックス制約付き損失は、DCT係数の範囲を制限することで、特にエッジやテクスチャ領域における細部の保持に貢献し、PSNRの向上に寄与している。
• D³は80p以上のフレームレートを持つ動画シーケンスをリアルタイムで処理可能であり、HDTVおよび動画コーデックの後処理における実用的ソリューションとしての可能性を示している。