[論文レビュー] Deep Residual Learning for Image Compression

Zhengxue Cheng, Heming Sun+2 more|arXiv (Cornell University)|Jun 24, 2019

Advanced Data Compression Techniques参考文献 12被引用数 34

ひとこと要約

この論文は、学習済み画像圧縮のための深層残差学習アプローチとサブピクセルアップサンプリングを提案し、CLIC検証で0.15 bppで0.972 MS-SSIMを達成、導入は中程度の計算量。

ABSTRACT

In this paper, we provide a detailed description on our approach designed for CVPR 2019 Workshop and Challenge on Learned Image Compression (CLIC). Our approach mainly consists of two proposals, i.e. deep residual learning for image compression and sub-pixel convolution as up-sampling operations. Experimental results have indicated that our approaches, Kattolab, Kattolabv2 and KattolabSSIM, achieve 0.972 in MS-SSIM at the rate constraint of 0.15bpp with moderate complexity during the validation phase.

研究の動機と目的

• 深層残差学習を用いて学習済み画像圧縮の符号化効率を向上させる動機づけ。
• 主動作ニュートンのkernelサイズを大きくすることがレート–歪み性能に与える影響を調査する。
• デコーダでのアップサンプリング戦略（転置畳み込み vs. サブピクセル）を再構成品質とアーティファクトの観点から評価する。
• CLIC 2019での実用的検証のため、レート制御と複雑さの観点からモデルのバリアントを評価する。

提案手法

• 主オートエンコーダがレート–歪みを最適化し、補助オートエンコーダが圧縮情報の分布をモデル化する2段階オートエンコーダアーキテクチャを用いる。
• 大きな受容野を小さなカーネルで模倣するためにショートカット接続を持つ深い残差ブロックを採用する。
• パラメータ効率を保ちながらコード効率を向上させるために大きなカーネルサイズを探る。
• デコーダのアップサンプリング方法を比較（転置畳み込み vs. サブピクセル畳み込み）し、サブピクセル畳み込みがPSNR/MS-SSIMでより良いことを発見。
• 0.15 bpp制約を適応的なモデル選択で満たすために、広いボトルネック変種とレート制御戦略でトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 深層残差学習は、ベースラインアーキテクチャと比較して学習済み画像圧縮のレート–歪み性能を改善するか。
• RQ2 主オートエンコーダと補助オートエンコーダにおけるカーネルサイズはコード効率にどのような影響を及ぼすか。
• RQ3 低ビットレートで再構成品質とアーティファクトをどのデコーダ用アップサンプリング法がより良くするか。
• RQ4 レート制御戦略は大きな質の低下を伴わず厳しいビットレート目標を満たすことができるか。

主な発見

• 0.972 MS-SSIMを0.15 bppでCLIC検証で達成、計算量は中程度。
• 3x3カーネルスタックを用いる深層残差ネットワーク（ResNet-3x3(4)）がMS-SSIMでBaselineおよびHyperPrior構成を上回る。
• デコーダのサブピクセル畳み込みは転置畳み込みに比べてPSNRとMS-SSIMで modest gainsをもたらす。
• 主エンコーダの大きなカーネルがRD性能を向上させる一方、補助オートエンコーダの過度に大きなカーネルは性能を損なうことがある。
• 広いボトルネック（最後のエンコーダ層のチャンネルを増やすこと）はレート制御を改善するが、適切に調整しないとMS-SSIMを劣化させる可能性がある。