[論文レビュー] One-to-Many Network for Visually Pleasing Compression Artifacts Reduction

Jun Guo, Hongyang Chao|arXiv (Cornell University)|Nov 15, 2016

Advanced Image Processing Techniques参考文献 37被引用数 6

ひとこと要約

本論文は、一括のJPEG圧縮アーティファクト低減のための1対多の深層学習ネットワークを提案し、入力ごとに複数の視覚的に魅力的で高品質な再構成を生成する。明確な特徴、自然さ、JPEG固有の損失を用いて過剰に平滑化を回避する。PSNRが低いにもかかわらず視覚的品質で最先端の手法を上回り、シフト＆アベージ畳み込みの戦略により、テクスチャの回復が優れており、アーティファクトが減少している。

ABSTRACT

We consider the compression artifacts reduction problem, where a compressed image is transformed into an artifact-free image. Recent approaches for this problem typically train a one-to-one mapping using a per-pixel $L_2$ loss between the outputs and the ground-truths. We point out that these approaches used to produce overly smooth results, and PSNR doesn't reflect their real performance. In this paper, we propose a one-to-many network, which measures output quality using a perceptual loss, a naturalness loss, and a JPEG loss. We also avoid grid-like artifacts during deconvolution using a "shift-and-average" strategy. Extensive experimental results demonstrate the dramatic visual improvement of our approach over the state of the arts.

研究の動機と目的

• L2損失最適化による過剰に平滑化され、テクスチャを失う出力を生じる既存の1対1の深層学習モデルの限界を是正すること。
• JPEG量子化の多対一性をモデル化し、複数の視覚的に好ましいアーティファクトなしの候補を生成する1対多のマッピングを学習すること。
• 人間の視覚的好みをよりよく反映するように、明確な特徴、自然さ、JPEG固有の損失を組み合わせることで、PSNRを超える視覚的品質の向上を図ること。
• 転置畳み込みによるグリッド状アーティファクトを抑制するため、デコンボリューション中にシフト＆アベージ戦略を適用すること。
• PSNRがベースラインや圧縮入力よりも低い状況でも、視覚的品質が顕著に向上することを示すこと。

提案手法

• 1つの圧縮画像入力から複数のアーティファクトなし再構成を生成する1対多のネットワークアーキテクチャを提案する。
• 事前学習済みVGGネットワークの特徴に基づく明確な特徴損失を用い、高レベルの意味的構造を保持する。
• 学習済み分類器を用いた自然さ損失を導入し、現実的で詳細な画像統計を促進する。
• 元のJPEGエンコードプロセスとのコントラストと明るさの一貫性を維持するため、JPEG損失を組み込む。
• デコンボリューション中に「シフト＆アベージ」戦略を適用し、転置畳み込みによって生じるグリッド状アーティファクトを抑制する。
• 明確な特徴、自然さ、JPEG損失を組み合わせた多成分損失を最適化に用い、忠実度と視覚的魅力のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 1対1のマッピングと比較して、1対多の深層学習フレームワークはJPEG圧縮アーティファクト低減における視覚的品質を向上させることができるか？
• RQ2 L2損失を明確な特徴損失と自然さ損失に置き換えることで、より現実的でテクスチャ豊かな再構成が得られるか？
• RQ3 明確な特徴損失、自然さ損失、JPEG固有の損失の組み合わせは、PSNRよりも人間の視覚的好みをよりよく反映できるか？
• RQ4 シフト＆アベージ戦略は、デコンボリューションに起因するグリッド状アーティファクトの抑制にどの程度効果的か？
• RQ5 なぜ本手法ではPSNR値が低下する一方で、視覚的品質が向上するのか？

主な発見

• 提案された1対多ネットワークは、ARCNN や DDCN との比較において、はるかに視覚的に魅力的な結果を生成し、より豊かなテクスチャと鋭いエッジを実現している。
• Set14では21.50および21.53、BSDS500では24.99および25.32という低いPSNR値を示すが、再構成の視覚的品質はPSNRが示すものよりも顕著に優れている。
• シフト＆アベージ戦略は、デコンボリューションに起因するグリッド状アーティファクトを効果的に抑制し、視覚的品質を向上させつつ、明確な特徴性能を損なわない。
• 明確な特徴損失、自然さ損失、JPEG損失の組み合わせにより、特に毛布や岩のような高周波数領域でコントラストと細部が強化された再構成が得られる。
• 結果から、ネットワークが意味的意識を持つ再構成を学習しており、目立つ領域（例：毛布、木々）ではテクスチャが豊かに、背景（例：空）はクリアに保たれていることが示された。
• 本手法はカラー画像にも一般化可能であり、DDCN やベースラインモデルと比較して、RGBデータセット（例：BSDS500）で優れた結果を示している。