[論文レビュー] Optimizing JPEG Quantization for Classification Networks

Zhijing Li, Christopher De+1 more|arXiv (Cornell University)|Mar 5, 2020

Advanced Data Compression Techniques参考文献 20被引用数 11

ひとこと要約

本論文では、人間の視覚や最小歪みを目的としたものではなく、深層学習分類ネットワークに特化したJPEG量子化テーブル（Qテーブル）の最適化を提案している。高解像度のImageNetデータを用い、ソート済みランダムサーチとハイパーパramータ最適化によりQテーブルをチューニングすることで、同じ圧縮レートにおいて最大2%高いトップ1精度を達成するか、固定精度で10–200%高い圧縮が可能となり、標準JPEGやより複雑な最適化手法を上回る性能を発揮した。

ABSTRACT

Deep learning for computer vision depends on lossy image compression: it reduces the storage required for training and test data and lowers transfer costs in deployment. Mainstream datasets and imaging pipelines all rely on standard JPEG compression. In JPEG, the degree of quantization of frequency coefficients controls the lossiness: an 8 by 8 quantization table (Q-table) decides both the quality of the encoded image and the compression ratio. While a long history of work has sought better Q-tables, existing work either seeks to minimize image distortion or to optimize for models of the human visual system. This work asks whether JPEG Q-tables exist that are "better" for specific vision networks and can offer better quality--size trade-offs than ones designed for human perception or minimal distortion. We reconstruct an ImageNet test set with higher resolution to explore the effect of JPEG compression under novel Q-tables. We attempt several approaches to tune a Q-table for a vision task. We find that a simple sorted random sampling method can exceed the performance of the standard JPEG Q-table. We also use hyper-parameter tuning techniques including bounded random search, Bayesian optimization, and composite heuristic optimization methods. The new Q-tables we obtained can improve the compression rate by 10% to 200% when the accuracy is fixed, or improve accuracy up to $2\%$ at the same compression rate.

研究の動機と目的

• JPEG量子化テーブルが、人間の視覚や最小歪みではなく、深層ニューラルネットワーク（DNN）分類性能を目的として最適化可能かどうかを調査すること。
• タスク固有のQテーブルが、ImageNetのようなビジョンデータセットにおける精度-圧縮トレードオフを改善できるかどうかを検討すること。
• ランダムサーチ、ボーデッドランダムサーチ、ベイズ最適化、および複合ヒューリスティック手法を含む、複数の最適化戦略を評価し、Qテーブルをチューニングすること。
• 高度な最適化手法が、単純なベースライン手法に比べて、効果的なタスク固有Qテーブルを効率的に発見できるかどうかを特定すること。
• 圧縮画像データを用いたDNN性能を向上させる実用的で効率的なQテーブル生成手法を提供すること。

提案手法

• 著者らは、既に圧縮済みのデータセットに依存せず、ImageNetバリデーションセットの高解像度版を再構築し、新しいQテーブルによるJPEG圧縮をシミュレートした。
• 候補となるQテーブルを生成するためのソート済みランダムサーチベースラインを採用し、周波数成分の意味のある順序を保つために、係数をソートされた分布からサンプリングした。
• ボーデッドランダムサーチ、局所グリッドサーチを組み合わせたベイズ最適化、および複合ヒューリスティック最適化を用いて、Qテーブルのハイパーパramータ空間を探索した。
• 各候補Qテーブルについて、圧縮データ上で微調整されたResNet50モデルを用い、トップ1精度と圧縮レートを測定した。
• 性能比較の統計的妥当性を確保するため、700クラスの100個のランダムサンプル（1クラスあたり4枚の画像）を用いた交差検証を実施した。
• 10個の「良い」Qテーブル（適合度 > -0.001）を発見するまでの試行回数と、1試行あたりの意思決定時間を測定し、効率性を評価した。

実験結果

リサーチクエスチョン

• RQ1 JPEG量子化テーブルを、圧縮効率を維持または向上させながら、深層学習モデルの精度を向上させるように最適化可能か？
• RQ2 より洗練されたハイパーパramータ最適化手法に比べ、単純なランダムサーチが、効果的なタスク固有Qテーブルを効率的に発見できるか？
• RQ3 人間の視覚を最適化したQテーブルとDNN分類を最適化したQテーブルの間には顕著な性能差があるか？
• RQ4 同じQテーブルが、異なるDNNアーキテクチャに普遍的に有効であるか、それとも特定のモデルに特化しているか？
• RQ5 ビジョンモデル向けQテーブルチューニングにおいて、最適化の複雑さと性能向上のトレードオフはどの程度か？

主な発見

• ソート済みランダムサーチにより、MatchedFrequencyおよびImageNetバリデーションセットにおいて、標準JPEG品質50と同等の圧縮レートで、ResNet50のトップ1精度がそれぞれ0.91%～1.16%向上した。
• 同じ手法により、同じ精度を維持しながら圧縮レートを10%～200%まで向上させることができ、標準JPEGを著しく上回った。
• ベイズ最適化や複合ヒューリスティックチューニングを含む、すべての最適化手法が標準JPEGに対して統計的に有意な精度向上を示した（すべての比較でp < 10−5）。
• 計算コストが高かったにもかかわらず、ベイズ最適化は単純なソート済みランダムサーチを上回ることはなく、後者の方が高速かつ効率的であった。
• 複合ヒューリスティック最適化は150試行で10個の良いQテーブルを発見したが、ソート済みランダムサーチとの性能向上差は著しくなく、その複雑さを理由に正当化できなかった。
• 統計的有意性検定により、標準JPEGに対する改善は極めて有意であり、最も優れた手法ではp < 10−11であった。