[論文レビュー] Preprocessing Enhanced Image Compression for Machine Vision

Lu Guo, Xingtong Ge+3 more|arXiv (Cornell University)|Jun 12, 2022

Advanced Image and Video Retrieval Techniques被引用数 13

ひとこと要約

本稿では、BPG や JPEG などの標準コ덱に前処理を組み込むことで、機械視覚タスクに最適化された、前処理強化型画像圧縮フレームワークを提案する。非微分可能なコデックを経由したエンドツーエンドのバックプロパゲーションを可能にするプロキシネットワークを用いることで、BPG よりも約 20% のビットレート削減を達成し、下流の検出・分類性能を維持または向上させる。この手法は、コデック、バックボーン、タスクの多様性にわたって優れた汎用性を示す。

ABSTRACT

Recently, more and more images are compressed and sent to the back-end devices for the machine analysis tasks~( extit{e.g.,} object detection) instead of being purely watched by humans. However, most traditional or learned image codecs are designed to minimize the distortion of the human visual system without considering the increased demand from machine vision systems. In this work, we propose a preprocessing enhanced image compression method for machine vision tasks to address this challenge. Instead of relying on the learned image codecs for end-to-end optimization, our framework is built upon the traditional non-differential codecs, which means it is standard compatible and can be easily deployed in practical applications. Specifically, we propose a neural preprocessing module before the encoder to maintain the useful semantic information for the downstream tasks and suppress the irrelevant information for bitrate saving. Furthermore, our neural preprocessing module is quantization adaptive and can be used in different compression ratios. More importantly, to jointly optimize the preprocessing module with the downstream machine vision tasks, we introduce the proxy network for the traditional non-differential codecs in the back-propagation stage. We provide extensive experiments by evaluating our compression method for two representative downstream tasks with different backbone networks. Experimental results show our method achieves a better trade-off between the coding bitrate and the performance of the downstream machine vision tasks by saving about 20% bitrate.

研究の動機と目的

• 従来の画像コデックが人間の視覚品質（例：PSNR）を最適化するのに対し、機械視覚性能を最適化しないというギャップを埋める。
• 標準コデック（例：BPG、JPEG）の非微分性により、ディープラーニングモデルと共同最適化が困難であるという課題を克服する。
• 学習済みエンドツーエンドコデックを必要とせず、標準互換性を保ちつつ機械認識性能を向上させる汎用性の高い圧縮パイプラインを開発する。
• 量子化に適応した前処理を可能にし、さまざまな QP 値での可変圧縮レートに対応する。
• 多様な下流タスク（オブジェクト検出、画像分類）およびバックボーンネットワークにわたって、本フレームワークの有効性を示す。

提案手法

• 標準コデックによる符号化の前に、機械に重要な意味的特徴を保持し、不要なコンテンツを抑制するためのニューラル前処理モジュール（NPP）を導入する。
• バックプロパゲーション中に非微分可能な従来コデック（例：BPG）の挙動を近似するプロキシネットワークを用い、勾配の流れを NPP モジュールに伝える。
• プロキシネットワークを介して、下流の機械視覚タスクと共同で NPP をエンドツーエンドに訓練し、低ビットレートと高いタスク精度の両方を最適化する。
• NPP モジュールを量子化に適応させ、再トレーニングなしに BPG のさまざまな QP 値で動作可能にする。
• BPG でトレーニングした同じ NPP モデルを、微調整なしに JPEG に適用し、コデック間での転送性を実証する。
• プロキシネットワークを、フォワードパスで BPG の復号プロセスを模倣する一方で、最適化のための勾配が NPP を経由して逆伝播可能にする。

Figure 1: (a) Image compression method for human visual system. (b) Our proposed preprocessing enhanced image compression for machine vision tasks. (c) Image classification results for the image from the BPG codec and ours(NPP+BPG).

実験結果

リサーチクエスチョン

• RQ1 非微分可能なコデック（例：BPG、JPEG）と組み合わせたニューラル前処理モジュールが、機械視覚性能の向上に寄与するか。
• RQ2 プロキシネットワークが、非微分可能なコデックを経由した NPP モジュールのエンドツーエンド学習をどの程度効果的に可能にするか。
• RQ3 1 つの NPP モデルが、さまざまな圧縮レート（QP 値）および下流タスクにどの程度汎用的に適用できるか。
• RQ4 オブジェクト検出用に最適化された NPP モデルを、微調整なしに別のタスク（例：画像分類）に転送して効果的に使用できるか。
• RQ5 標準コデックと比較して、本手法が下流タスクの精度を維持または向上させつつ、どの程度のビットレート削減を達成できるか。

主な発見

• 提案手法は、オブジェクト検出および画像分類タスクにおいて、BPG よりも約 20% のビットレート削減を達成し、同じモデル精度を維持する。
• BPG でトレーニングした NPP モジュールは、微調整なしに JPEG に対しても良好に一般化され、標準 JPEG よりも 8.5% 以上のビットレート削減を達成する。
• タスク間の転移学習（例：検出最適化 NPP を分類タスクに適用）により、10% 以上のビットレート削減が得られ、強力なタスク間一般化性を示す。
• プロキシネットワークにより、BPG を経由した効果的なバックプロパゲーションが可能となり、NPP が下流タスクと共同最適化可能である。これは、標準コデックでは実現不可能である。
• NPP モジュールは計算オーバーヘッドが最小限であり、224×224 画像での推論時間は 5.17ms、パラメータ数は 9.42M にとどまり、実世界の展開に実用的である。
• タスク特化最適化のため、PSNR や MS-SSIM は低下するが、視覚的品質指標（LPIPS）では差が縮小する。LPIPS の観点から見ると、本手法は BPG に比べてわずかに 8% の追加ビットレートで済み、許容可能な視覚品質のトレードオフであると示唆される。

Figure 2: Overview of our preprocessing enhanced image compression for machine vision.