[論文レビュー] Deep Convolution Networks for Compression Artifacts Reduction

Ke Yu, Chao Dong+2 more|arXiv (Cornell University)|Aug 9, 2016

Advanced Image Processing Techniques参考文献 37被引用数 72

ひとこと要約

本稿では、JPEG、JPEG 2000、およびTwitterのような実世界の圧縮画像を含む、複数の圧縮アーティファクト（ブロッキング、リングイング、ぼやけ）を効果的に低減する深層畳み込みネットワークAR-CNNを提案する。特徴強化レイヤーの統合とストライドベースのデコンボリューションおよびフィルターマッピングによる高速化により、性能損失を最小限に抑えながら7.5倍の高速化を達成し、ベンチマークおよび実世界のデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Lossy compression introduces complex compression artifacts, particularly blocking artifacts, ringing effects and blurring. Existing algorithms either focus on removing blocking artifacts and produce blurred output, or restore sharpened images that are accompanied with ringing effects. Inspired by the success of deep convolutional networks (DCN) on superresolution, we formulate a compact and efficient network for seamless attenuation of different compression artifacts. To meet the speed requirement of real-world applications, we further accelerate the proposed baseline model by layer decomposition and joint use of large-stride convolutional and deconvolutional layers. This also leads to a more general CNN framework that has a close relationship with the conventional Multi-Layer Perceptron (MLP). Finally, the modified network achieves a speed up of 7.5 times with almost no performance loss compared to the baseline model. We also demonstrate that a deeper model can be effectively trained with features learned in a shallow network. Following a similar "easy to hard" idea, we systematically investigate three practical transfer settings and show the effectiveness of transfer learning in low-level vision problems. Our method shows superior performance than the state-of-the-art methods both on benchmark datasets and a real-world use case.

研究の動機と目的

• JPEG、JPEG 2000、およびTwitterのプロプライエタリ方式を含む多様な圧縮基準にわたる、複雑で信号依存性の高い圧縮アーティファクト（ブロッキング、リングイング、ぼやけ）を除去する課題に対処する。
• 既存手法が特定のアーティファクト（例：ブロッキングのみ）に限定して対処するか、ぼやけたりリングイングを強化する出力を生じさせるという限界を克服する。
• 問題固有の事前知識や圧縮固有のデコーディングに依存せずに、複数のアーティファクトタイプを効果的に処理できる汎用的でエンドツーエンドの深層学習フレームワークを構築する。
• リアルタイム配信に適した高速化を実現しながらも、高い修復品質を維持し、帯域制限のある応用分野における実用的利用を可能にする。
• 浅い事前学習済みネットワークの特徴を活用する転移学習の有効性を、低レベルビジョンタスクにおける例として示す。

提案手法

• 最初の畳み込み層の直後に特徴強化ブロックを統合した、4層構成の深層畳み込みネットワークAR-CNNを提案。ノイズの多い特徴を洗練し、アーティファクトを抑制する。
• レイヤー分解と大ストライド畳み込み・デコンボリューション層を導入し、推論を高速化。計算コストを7.5倍削減しつつ、性能低下をほとんど認めない。
• マルチレイヤーパーセプトロン（MLP）の構造を模倣した変更版ネットワークアーキテクチャを採用。効率的な特徴学習を実現しながらも、強力な表現能力を維持する。
• 3つの実用的「簡単→難しい」設定による転移学習を適用：浅いネットワークからの微調整、事前学習済み重みによる深いネットワークの初期化、複雑度を段階的に増加させた順次学習。
• ストライドサイズ（s=2が最適と特定）、マッピングフィルタ数（n₄=64）、ネットワーク深さといったハイパーパrameterを最適化。速度と精度のバランスを図る。
• ピクセル単位の再構成誤差を最小化する損失関数を用いてエンドツーエンドで学習。一般化性能を向上させるためにデータオーグメンテーションと正規化を適用。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークは、JPEGやJPEG 2000、およびプロプライエタリ方式を含む多様な圧縮基準にわたって、ブロッキング、リングイング、ぼやけといった複数のアーティファクトを同時に効果的に低減できるか？
• RQ2 性能の著しい低下を伴わずに、リアルタイム配信に適した高速化を実現するには、深層学習モデルをどのように最適化できるか？
• RQ3 転移学習は、圧縮アーティファクト低減のような低レベルビジョンタスクにおいて、学習効率と性能をどの程度向上できるか？
• RQ4 大ストライド畳み込みおよびデコンボリューションを用いることで、計算複雑性を低減しながらも画像の詳細を保持できるか？
• RQ5 加速版モデル（Fast AR-CNN）の性能は、ベースラインAR-CNNおよび最先端手法と比較して、異なる圧縮品質および実世界のユースケースにおいてどうなるか？

主な発見

• 提案されたAR-CNNは、JPEG品質q=10におけるLIVE1データセットで29.13 dBのPSNRを達成し、既存の最先端手法と比較してPSNRおよびSSIMの両面で優れている。
• 7.5倍の推論速度向上を達成したFast AR-CNNは、q=10で29.07 dBのPSNRを示し、ベースラインとの差はわずか0.06 dBにとどまり、高い視覚的品質を維持している。
• ストライドサイズs=2が速度と性能の最良のトレードオフを提供しており、s=3にするとPSNRが著しく低下（28.78 dB）するため、大きなストライドでは重要な修復詳細が失われる。
• マッピングフィルタ数を16から64に増加させると、PSNRは29.07 dBから29.10 dBに向上するが、n₄=64を超えると増加が微小になるため、64フィルタの選択が妥当であると裏付けられる。
• Fast AR-CNNは低品質画像（q=10,20）ではベースラインと同等の性能を示すが、高品質画像（q=30,40）では細かい模様領域での大ストライドによる情報損失により性能差が生じる。
• 転移学習は学習効率とモデル性能を顕著に向上させ、浅い事前学習済みモデルの特徴を活用することで、深いネットワークの有効な学習を可能にする。