[論文レビュー] DeepN-JPEG: A Deep Neural Network Favorable JPEG-based Image Compression Framework

Zihao Liu, Tao Liu+5 more|arXiv (Cornell University)|Mar 14, 2018

Advanced Data Compression Techniques被引用数 7

ひとこと要約

DeepN-JPEGは、周波数ドメイン解析と適応的量子化を活用することで、従来のJPEGを凌駕するDNN最適化画像圧縮フレームワークを提案する。これにより、元のDNN分類精度を維持したまま、約3.5倍の高い圧縮率を達成する。深層ネットワークにおける統計的特徴の重要度に基づいて量子化テーブルを再定義することで、精度損失なしにIoTシステムにおけるデータ転送およびエネルギーコストを低減する。

ABSTRACT

As one of most fascinating machine learning techniques, deep neural network (DNN) has demonstrated excellent performance in various intelligent tasks such as image classification. DNN achieves such performance, to a large extent, by performing expensive training over huge volumes of training data. To reduce the data storage and transfer overhead in smart resource-limited Internet-of-Thing (IoT) systems, effective data compression is a "must-have" feature before transferring real-time produced dataset for training or classification. While there have been many well-known image compression approaches (such as JPEG), we for the first time find that a human-visual based image compression approach such as JPEG compression is not an optimized solution for DNN systems, especially with high compression ratios. To this end, we develop an image compression framework tailored for DNN applications, named "DeepN-JPEG", to embrace the nature of deep cascaded information process mechanism of DNN architecture. Extensive experiments, based on "ImageNet" dataset with various state-of-the-art DNNs, show that "DeepN-JPEG" can achieve ~3.5x higher compression rate over the popular JPEG solution while maintaining the same accuracy level for image recognition, demonstrating its great potential of storage and power efficiency in DNN-based smart IoT system design.

研究の動機と目的

• 人間の視覚系（HVS）に基づく圧縮方式（例：JPEG）が、特に高い圧縮比下で深層学習ワークロードにおいて非効率である問題に対処すること。
• DNN推論が実行されるリソース制約のあるIoTおよびエッジデバイスにおけるデータ送信およびストレージのオーバーヘッドを低減すること。
• 圧縮率を最大化しつつ、高精度なDNN分類精度を維持する圧縮フレームワークを開発すること。
• 人間の知覚ではなく、深層ニューラルネットワークの周波数応答特性に基づいて量子化テーブルを最適化すること。

提案手法

• HVSとDNNの周波数ドメイン処理の差を比較するための準解析的モデルを提案し、分類に重要な周波数成分を同定する。
• 画像クラスに跨る統計的周波数成分分析を実施し、DNN性能に不可欠な特徴を精緻化する。
• 精緻化された特徴統計と個々の量子化テーブル値を結ぶための区分的線形マッピング関数を設計する。
• DNN向けに最適化されたカスタム量子化テーブルを実装するため、オープンソースのIJG JPEGフレームワークを改変する。
• ImageNetベースの評価に適した最適化パラメータ（a=255, b=80, c=240, T₁=20, T₂=60, k₁=9.75, k₂=1, k₃=3）を用いる。
• 非一様量子化戦略を採用し、高レベルの意味的特徴を保持するとともに、関連性の低い高周波成分を破棄する。

実験結果

リサーチクエスチョン

• RQ1 JPEGベースの圧縮フレームワークを再設計することで、人間の視覚品質ではなくDNN推論精度を優先させることは可能か？
• RQ2 DNNの周波数ドメイン応答は人間の視覚系とどのように異なるか？この差を活用することで、より優れた圧縮が可能か？
• RQ3 画像データの圧縮率を最大化しつつ、DNNにおける精度劣化を最小限に抑える量子化戦略は何か？
• RQ4 一般化可能な圧縮フレームワークは、AlexNet、VGG、GoogLeNet、ResNetなどの多様な最先端DNNアーキテクチャにおいても高精度を維持できるか？

主な発見

• DeepN-JPEGは、標準JPEGと同等のImageNetデータセット上の画像分類精度を維持しつつ、約3.5倍の高い圧縮率を達成する。
• AlexNet、VGG-16、GoogLeNet、ResNet-34/50など複数のモデルで元のDNN精度を維持しており、優れた一般化性能を示す。
• DeepN-JPEGを用いることで、データオフロードにおける消費電力が元のJPEGベースラインのわずか30％にまで低減され、精度損失なしに実現される。
• 『SAME-Q4』や『RM-HF3』といった攻撃的JPEG変種と比較して、DeepN-JPEGはそれぞれ3倍および2倍の電力削減効果を示す。これはより効率的な圧縮に起因する。
• 高圧縮比下では、標準JPEGがAlexNetを用いた場合、ImageNet上で最大9％の精度低下を引き起こすが、DeepN-JPEGはこの劣化を完全に回避する。
• 特に高圧縮レベル下で、『RM-HF』や『SAME-Q』といったベースライン手法に比べ、圧縮効率および精度保持性の両面で優れた性能を発揮する。