[論文レビュー] Learned Compression Artifact Removal by Deep Residual Networks

Ogün Kırmemiş, Gonca Bakar+1 more|arXiv (Cornell University)|Jun 1, 2018

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、BPGで圧縮された画像の圧縮アーティファクトを低減するため、SELU活性化関数とスキップ接続を備えた変更版EDSRアーキテクチャを用いた、深層残差ネットワークに基づく後処理手法を提案する。この手法は、平均で0.443 dB（最良で0.575 dB）のPSNR向上を達成し、視覚的品質も顕著に向上させるが、整数プログラミング最適化によりファイルサイズとデコード時間の制約を両立させる。

ABSTRACT

We propose a method for learned compression artifact removal by post-processing of BPG compressed images. We trained three networks of different sizes. We encoded input images using BPG with different QP values. We submitted the best combination of test images, encoded with different QP and post-processed by one of three networks, which satisfy the file size and decode time constraints imposed by the Challenge. The selection of the best combination is posed as an integer programming problem. Although the visual improvements in image quality is impressive, the average PSNR improvement for the results is about 0.5 dB.

研究の動機と目的

• 深層学習に基づく後処理により、BPGで圧縮された画像の知覚的・客観的品質を向上させること。
• エンド・ツー・エンドの学習済み圧縮がまだ成熟していない分野において、学習済みアーティファクト除去を活用して、現在の信号処理ベースのコーデックの限界を克服すること。
• 実運用におけるファイルサイズとデコード時間の制約を満たす計算効率の高い後処理パイプラインを開発すること。
• 整数プログラミングを用いて、品質制約下でQP値と後処理ネットワークの選択を最適化し、PSNRを最大化すること。

提案手法

• アーティファクト除去に、SELU活性化関数と入力画像から出力画像への直接スキップ接続を備えた、変更版EDSRスタイルの残差ネットワークを用いる。
• ネットワークは残差スケーリングを採用し、QP=40でエンコードされたBPG画像を学習データとして用い、入力画像をターゲットに近づけることで、恒等写像に近い挙動を促進する。
• デコーダは、メモリ制約に対処するため、重複する4つのブロックに分割して処理を行い、有効なカーネルサイズを E = (k−1)l + 1 で計算する。
• 1-of-Kベクトル符号化により、各画像に対して歪みを最小化するQP値（38–42）を選択し、合計ファイルサイズを0.15 bpp以内に制限する。
• 整数プログラミングの定式化により、テスト画像全体にわたるQP選択とネットワーク選択を同時に最適化し、ファイルサイズと処理時間の制約下でPSNRを最大化する。
• 最終的な提出物は、MVGL A（71枚の高インパクト画像用）とMVGL B（残りの画像用）を組み合わせることで、45時間の処理時間制限を超えないようにする。

実験結果

リサーチクエスチョン

• RQ1 学習済み後処理ネットワークは、BPGで圧縮された画像の視覚的・客観的品質を顕著に向上させることができるか？
• RQ2 ネットワークの深さとアーキテクチャは、アーティファクト除去におけるPSNR向上と計算コストにどのように影響するか？
• RQ3 整数プログラミングは、ファイルサイズと時間の制約下で、QP選択とネットワーク選択を効果的に同時に最適化できるか？
• RQ4 QP=40で学習したネットワークは、他のQP値（38–43）に対しても十分に一般化できるか？
• RQ5 より深いネットワークを用いる場合、PSNR向上と処理時間のトレードオフはどのように変化するか？

主な発見

• 提案手法はテストセットで平均0.443 dBのPSNR向上を達成し、MVGL Aを用いた場合、最高で0.575 dBの向上を記録した。
• MVGL A（32残差ブロック、96フィルタ）は最高のPSNR向上を達成したが、45時間の処理時間制限を超えてしまうため、71枚の画像に限定して使用された。
• MVGL B（8ブロック）とMVGL C（32ブロック、48フィルタ）は、0.319 dBおよび0.360 dBの低いが顕著なPSNR向上を示し、処理時間も大幅に短縮された。
• QP=40で学習したネットワークは、QP=38–43の他の値に対しても良好に一般化しており、表3の結果から、全QPレベルで一貫したPSNR向上が確認された。
• 整数プログラミングの解は、QP=38で1枚、QP=40で109枚、QP=41で120枚、QP=42で56枚を選択し、平均ビットレートは0.15 bppを達成した。
• 図4の視覚的結果は、ブロッキングやリバーブアーティファクトの顕著な低減を示しており、顕著な知覚的品質向上が確認された。