[論文レビュー] Faster and Accurate Classification for JPEG2000 Compressed Images in Networked Applications

Lahiru D. Chamain, Zhi Ding|arXiv (Cornell University)|Sep 4, 2019

Advanced Data Compression Techniques参考文献 13被引用数 6

ひとこと要約

この論文は、RGB画像への再構築を経ずにCDF 9/7ウェーブレットの離散ウェーブレット変換（DWT）係数を直接分類することで、JPEG2000形式で圧縮された画像の高速かつ高精度なディープラーニング推論を実現する手法を提案する。DWT係数上で浅い畳み込みニューラルネットワーク（CNN）を学習させ、ドメイン特化型のデータ拡張を導入することで、CIFAR-10では最大2.5%、Tiny ImageNetでは1.5%のトップ1精度向上を達成。転移学習により学習を75%高速化し、高コストな再構築のオーバーヘッドを排除した。

ABSTRACT

JPEG2000 (j2k) is a highly popular format for image and video compression.With the rapidly growing applications of cloud based image classification, most existing j2k-compatible schemes would stream compressed color images from the source before reconstruction at the processing center as inputs to deep CNNs. We propose to remove the computationally costly reconstruction step by training a deep CNN image classifier using the CDF 9/7 Discrete Wavelet Transformed (DWT) coefficients directly extracted from j2k-compressed images. We demonstrate additional computation savings by utilizing shallower CNN to achieve classification of good accuracy in the DWT domain. Furthermore, we show that traditional augmentation transforms such as flipping/shifting are ineffective in the DWT domain and present different augmentation transformations to achieve more accurate classification without any additional cost. This way, faster and more accurate classification is possible for j2k encoded images without image reconstruction. Through experiments on CIFAR-10 and Tiny ImageNet data sets, we show that the performance of the proposed solution is consistent for image transmission over limited channel bandwidth.

研究の動機と目的

• クラウドベースのディープラーニングパイプラインにおけるJPEG2000形式で圧縮された画像の再構築処理を計算的に高コストなステップとして排除すること。
• j2kストリームから抽出したDWT係数を直接入力として使用することで、CNNをDWT係数上で学習させ、分類精度と推論速度を向上させること。
• 従来の空間変換とは異なり、DWTドメインに特化した効果的なデータ拡張技術を開発すること。
• 非圧縮画像で事前学習されたモデルを、帯域制限のある圧縮環境に適応して微調整できるかを検証すること。
• 帯域制限のあるネットワーク環境において、DWTドメイン分類のロバスト性と効率性を検証すること。

提案手法

• JPEG2000ビットストリームから、量子化後処理後のデコーダーにアクセスすることで、CDF 9/7 DWT係数を直接抽出する。
• 再構築されたRGB画像の代わりに、これらのDWT係数を入力として使用し、ウェーブレットドメイン内でエンドツーエンド学習を実現する。
• 信号構造を保持し、圧縮下でのロバスト性を向上させるために、DWT係数レベルでの反転やシフトといった新しい拡張技術を設計する。
• RGBドメインの深層モデルと比較して、計算コストを低減しつつ精度を維持または向上させるために、DWTドメインで浅めのCNNアーキテクチャを採用する。
• 非圧縮画像で事前学習されたモデルを、低帯域幅環境に適応させるために微調整することで、学習時間を75%短縮する。
• CIFAR-10およびTiny ImageNetで、テスト精度、学習／推論速度、さまざまな圧縮比におけるロバスト性といった指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RGB画像への再構築を経ずに、JPEG2000形式で圧縮された画像に対して、深層CNNが高精度な分類を達成できるか？
• RQ2 DWT係数上で浅いネットワークアーキテクチャで学習させることで、推論および学習が高速化され、かつ精度が維持または向上するか？
• RQ3 従来の空間的データ拡張技術（反転やシフト）は、DWTドメインにおいて有効であるか、あるいは有害であるか？
• RQ4 非圧縮ドメインで事前学習されたモデルを、圧縮され帯域制限のある状況に適応して微調整できるか？
• RQ5 DWTドメインモデルとRGBドメインモデルの両者において、通信帯域が減少する条件下で分類性能はどのように変化するか？

主な発見

• 本手法は、DWT係数と新規拡張技術を用いてCIFAR-10で91.92%のトップ1精度を達成し、RGBベースのモデルの91.70%を上回った。
• Tiny ImageNetでは、DWTドメインモデルが67.56%のトップ1精度を達成し、ベースラインのRGBモデル（65.78%）を1.78%上回った。
• 事前学習済みモデルからの微調整において、DWTドメインモデルは学習時間を75%短縮した。これはRGBドメインにおける報告と整合的である。
• CIFAR-10では、再構築コストが不要なDWTモデルが1秒あたり4283枚の推論を達成し、RGBモデルの4108枚／秒を上回る約4%の推論速度向上を達成した。
• 帯域制限下でも、本手法は精度を維持または向上させ、圧縮比が高くなるに従い、DWTモデルの精度向上幅が拡大した。
• DWT特化型の拡張技術を用いることで、CIFAR-10ではトップ1精度が2.5%向上し、Tiny ImageNetでは1%以上向上した。