[論文レビュー] Compression Artifacts Removal Using Convolutional Neural Networks

Pavel Svoboda, Michal Hradiš+2 more|arXiv (Cornell University)|May 2, 2016

Advanced Image Processing Techniques参考文献 28被引用数 125

ひとこと要約

この論文は、JPEG圧縮アーティファクトを除去するために残差学習とスキップ接続を用いた大規模ディープCNNを訓練し、PSNR、PSNR-B、SSIM において AR-CNN、SA-DCT、spp に対して標準データセットで最先端の結果を達成します。

ABSTRACT

This paper shows that it is possible to train large and deep convolutional neural networks (CNN) for JPEG compression artifacts reduction, and that such networks can provide significantly better reconstruction quality compared to previously used smaller networks as well as to any other state-of-the-art methods. We were able to train networks with 8 layers in a single step and in relatively short time by combining residual learning, skip architecture, and symmetric weight initialization. We provide further insights into convolution networks for JPEG artifact reduction by evaluating three different objectives, generalization with respect to training dataset size, and generalization with respect to JPEG quality level.

研究の動機と目的

• JPEGアーティファクトの画像復元を小規模アーキテクチャを超える畳み込みネットワークで動機づける。
• 残差およびスキップ接続を備えた深いFCNアーキテクチャを開発・評価してアーティファクト除去を行う。
• 初期化、学習目的、訓練戦略が収束と性能に与える影響を調査。
• JPEG品質レベルと訓練データセットサイズを跨る一般化を評価。

提案手法

• 4層と8層の Fully Convolutional Networks (L4とL8) をそれぞれ使用。
• 直接写像ではなく画像残差を予測することで残差学習を採用。
• 早層の活性化をより深い層へ連結するスキップアーキテクチャを組み込む。
• 直写像、残差学習、エッジ保護損失（Sob severity）の3つの目的を実験する。
• 初期化時にフィルターをセンタリングして対称な重み初期化を実現し、より高い学習率を可能にする。
• BSDS500 (400枚) で訓練し、PSNR、PSNR-B、SSIM を用いて LIVE1 と BSDS500 バリデーションセットで評価する。
• SOTA手法（AR-CNN、SA-DCT、spp）と比較し、JPEG品質とデータセットサイズ間の一般化を分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模で深いCNNはこれまでのJPEGアーティファクト除去の最先端手法を上回ることができるか？
• RQ2 残差学習と直接写像とエッジ保護損失が再構成品質に与える影響はどうか？
• RQ3 ネットワークは異なるJPEG品質レベルと訓練データサイズでどの程度一般化するか？
• RQ4 ネットワークアーキテクチャ（L4対 L8）と初期化は訓練速度と性能に影響するか？
• RQ5 実用的な展開のための計算速度とパラメータ数のトレードオフは？

主な発見

• L8 残差ネットワークは LIVE1 および BSDS500 において PSNR、PSNR-B、SSIM で他のすべての手法を上回る。 (Tables 3 and 4)
• 残差学習は直接写像より収束が速く、深いネットワーク（例：8層）を合理的な反復回数（250k）で訓練可能にする。 (Figure 6, Table 5)
• L4（小型ネットワーク）は 400-image BSD データでよく一般化し、しばしば競合手法より優れている一方で効率的。
• エッジ保護損失は L4 に対して残差学習と比べて結果を顕著には改善しなかった（Table 5）。
• 訓練速度は GTX 780 の cuDNN 環境で：L4 は 1 MPx を 220 ms、L8 は 1052 ms、L4 の FLOPs は ピクセルあたり約 140k、L8 は約 440k。