[論文レビュー] DMCNN: Dual-Domain Multi-Scale Convolutional Neural Network for Compression Artifacts Removal

Xiaoshuai Zhang, Wenhan Yang+2 more|arXiv (Cornell University)|Jun 8, 2018

Image and Signal Denoising Methods参考文献 16被引用数 10

ひとこと要約

本稿では、拡張畳み込みとマルチスケール監視を用いて大きな受容 field を実現し、ピクセル領域と DCT 領域の両方の事前知識を統合することで、JPEG アーティファクト除去を向上させるデュアルドメイン・マルチスケール畳み込みニューラルネットワーク DMCNN を提案する。この手法は、標準ベンチマークにおいて、PSNR、SSIM、PSNR-B の観点で先行する CNN に基づく手法を上回る最先端の性能を達成する。

ABSTRACT

JPEG is one of the most commonly used standards among lossy image compression methods. However, JPEG compression inevitably introduces various kinds of artifacts, especially at high compression rates, which could greatly affect the Quality of Experience (QoE). Recently, convolutional neural network (CNN) based methods have shown excellent performance for removing the JPEG artifacts. Lots of efforts have been made to deepen the CNNs and extract deeper features, while relatively few works pay attention to the receptive field of the network. In this paper, we illustrate that the quality of output images can be significantly improved by enlarging the receptive fields in many cases. One step further, we propose a Dual-domain Multi-scale CNN (DMCNN) to take full advantage of redundancies on both the pixel and DCT domains. Experiments show that DMCNN sets a new state-of-the-art for the task of JPEG artifact removal.

研究の動機と目的

• 既存の CNN に基づく JPEG アーティファクト除去手法における受容 field の小さい制限を是正し、帯状アーティファクトのような大規模なアーティファクトの効果的回復を可能にする。
• ピクセル領域と DCT 領域の両方における冗長性を活用し、ドメイン固有の事前知識を用いることで、画像修復品質を向上させる。
• 拡張畳み込みとマルチスケール監視を用いてグローバルな文脈モデリングを実現し、長距離依存性を捉える能力を向上させる。
• 両ドメインにおけるオートエンコーダ構造を統合したエンドツーエンドで学習可能なアーキテクチャを構築し、共同最適化を可能にする。
• 特にアーティファクトが最も顕著になる高圧縮率においても、ベンチマークデータセットで優れた性能を達成する。

提案手法

• DMCNN アーキテクチャは、ピクセル領域と DCT 領域の両方で動作する平行なオートエンコーダブランチから構成され、それぞれが圧縮画像の階層的表現を学習するように設計されている。
• 両ブランチで拡張畳み込みが用いられ、パrameter 数を増加させることなく受容 field を顕著に拡大し、グローバルな画像パターンのモデリングを可能にする。
• 特徴量学習を異なる抽象化レベルで監視するために、3 スケール（元画像、ダウンサンプリング済み、粗いスケール）でマルチスケール損失関数が適用され、詳細回復の向上が図られる。
• 最終出力は、入力画像、DCT ブランチの予測、ピクセル ブランチの予測の重み付き和であり、学習可能または固定の重みを用いて寄与度をバランスさせる。
• 残差学習は修正された残差ブロック構造に適合され、DCT および IDCT レイヤーは標準的な DCT 行列係数で固定および初期化され、ドメイン固有のインダクティブバイアスを保持する。
• 最適化には Adam オプティマイザを用い、動的学習率減衰と、QF=20 から始まり QF=10 へと段階的に進むカリキュラム学習戦略が採用されている。

実験結果

リサーチクエスチョン

• RQ1 CNN の受容 field を拡大することで、帯状アーティファクトのような大規模な JPEG アーティファクトの除去が顕著に向上するか？
• RQ2 ピクセル領域と DCT 領域の両方の特徴を組み合わせることで、単一ドメイン手法に比べて、より優れたアーティファクト抑制と詳細回復が達成できるか？
• RQ3 マルチスケール監視と拡張畳み込みが併用されることで、ネットワークのグローバルな画像構造モデリング能力が向上するか？
• RQ4 提案されたデュアルドメイン・マルチスケールアーキテクチャは、PSNR、SSIM、視覚的品質の観点で、既存の最先端手法と比較してどのように差をつけるか？
• RQ5 固定 DCT レイヤーの統合により、JPEG 圧縮由来のインダクティブバイアスを維持しながら性能が向上するか？

主な発見

• LIVE1 データセットにおいて QF=10 の条件下で、DMCNN は PSNR 29.73 dB を達成し、以前の最先端手法 DDCN を 0.14 dB 以上上回った。
• BSDS500 テスティングセットにおいて QF=10 の条件下で、DMCNN は PSNR 29.67 dB を達成し、DDCN（29.59 dB）および他の優れた手法を上回った。
• LIVE1 において QF=10 の条件下で、PSNR-B は 29.55 dB を記録し、高周波数成分の保持とブロッキングアーティファクトの低減という点で優れた性能を示した。
• 主観評価では、DMCNN が滑らかな勾配の回復や帯状アーティファクトの除去において、より視覚的に魅力的な結果を生成することが確認された。
• アブレーションスタディにより、拡張畳み込みによる大きな受容 field、マルチスケール監視、デュアルドメイン学習の組み合わせが性能向上に不可欠であることが確認された。
• QF=20 で学習したモデルは QF=10 に対しても良好に一般化され、LIVE1 において PSNR 32.09 dB を達成し、比較対象のすべての手法を上回った。