[論文レビュー] Learning to Inpaint for Image Compression

Mohammad Haris Baig, Vladlen Koltun+1 more|arXiv (Cornell University)|Sep 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 38

ひとこと要約

本稿では、'残差から画像へ'（R2I）およびインpaintingベースのアーキテクチャを用いた、損失圧縮のための新しい深層学習アプローチを提案する。各ステージで残差から元の画像コンテンツを再構築するようにモデルを訓練し、隣接するパッチからのマルチスケールインpaintingを活用することで、ベースラインの残差エンコーダーと比較してファイルサイズを最大60.4％まで削減し、エントロピー符号化を必要とせず、競争力のある性能を達成した。

ABSTRACT

We study the design of deep architectures for lossy image compression. We present two architectural recipes in the context of multi-stage progressive encoders and empirically demonstrate their importance on compression performance. Specifically, we show that: (a) predicting the original image data from residuals in a multi-stage progressive architecture facilitates learning and leads to improved performance at approximating the original content and (b) learning to inpaint (from neighboring image pixels) before performing compression reduces the amount of information that must be stored to achieve a high-quality approximation. Incorporating these design choices in a baseline progressive encoder yields an average reduction of over $60\%$ in file size with similar quality compared to the original residual encoder.

研究の動機と目的

• マルチステージの残差エンコーダーにおける勾配消失問題を解消することで、深層学習に基づくプログレッシブ画像圧縮を改善すること。
• 画像パッチ間の空間的整合性を活用することで、高品質な画像再構築に必要なビットレートを低減すること。
• インpaintingと圧縮を統合した共同学習フレームワークを設計し、性能を向上させること。
• インpaintingと圧縮ネットワークをエンドツーエンドで訓練することで、分離した訓練よりもよりコンactな表現が得られることを示すこと。

提案手法

• 各ステージが残差から元の画像を予測するように設計された、Residual-to-Image（R2I）アーキテクチャを導入し、トレーニングの安定性と最適化を向上させる。
• 後続の層が早期のステージからの再構築済みコンテンツにアクセスできるように、ステージ間でスキップ接続を採用し、特徴の学習を強化する。
• 隣接する画像領域からのコンテキストをサンプリングするためのマルチスケール畳み込みを採用し、インpainting性能を向上させる。
• インpaintingネットワークと圧縮モデルを同時に訓練し、同じ潜在表現を用いることで、コンパクトで低エントロピーのコードを保証する。
• 標準の残差入力／残差出力損失の代わりに、残差入力／画像出力の目的関数を採用し、トレーニングの安定性と再構築品質を向上させる。
• 推論時にコンテンツ依存性を避けるために、並列性を保つための対角スキャンパターンを適用する。

実験結果

リサーチクエスチョン

• RQ1 残差から元の画像を予測するプログレッシブエンコーダー（R2I）を訓練することで、標準的な残差符号化と比較して圧縮性能が向上するか？
• RQ2 隣接する画像パッチからのインpaintingを学習することで、高品質な再構築に必要な情報量が削減されるか？
• RQ3 インpaintingネットワークと圧縮モデルを共同で訓練することで、よりコンパクトで効率的な表現が得られるか？
• RQ4 エントロピー符号化を用いない状況で、本手法は従来のコデックおよび先行する深層学習アプローチと比較して、レート・ディストーション性能で優れているか？
• RQ5 スキップ接続やマルチスケールコンテキストモデリングといったアーキテクチャ的選択が、圧縮効率およびトレーニングの安定性に与える影響は何か？

主な発見

• R2Iアーキテクチャは、ベースラインの残差エンコーダーと比較してファイルサイズを18.53％削減し、最適化および再構築品質の向上を実証した。
• R2Iモデルとインpaintingネットワークを共同で訓練することで、さらに42％のビットレート削減が達成され、結果として元の残差エンコーダーと比較して合計60.4％の削減を達成した。
• GRUモデルが600万枚の画像で10倍長い時間学習されたのに対し、IR2Iモデルは6.5K枚の学習画像でのみ使用されたが、依然として残差-GRUモデルを上回った。
• エントロピー符号化を一切使用しなくても、IR2IモデルはJPEG-2000 や WebP といった高度な後処理を用いる従来のコデックと同等のレート・ディストーション性能を達成した。
• コンテンツ依存性を最小限に抑える対角スキャンパターンを採用することで、実用的な推論速度を維持し、デコードにおける高い並列性を確保した。
• 本手法は動画圧縮への応用にも強く、空間的および時間的整合性を活用することで、さらなる利得が得られると示唆された。