[논문 리뷰] Optimizing JPEG Quantization for Classification Networks

Zhijing Li, Christopher De외 1명|arXiv (Cornell University)|2020. 03. 05.

Advanced Data Compression Techniques참고 문헌 20인용 수 11

한 줄 요약

이 논문은 인간 시각 인식이나 최소 왜곡을 위한 것이 아니라 딥러닝 분류 네트워크를 위해 JPEG 양자화 테이블(Q-테이블)을 최적화하는 것을 제안한다. 고해상도 ImageNet 데이터를 사용하고, 정렬된 무작위 탐색 및 하이퍼파라미터 최적화를 통해 Q-테이블을 조정함으로써, 동일 압축률에서 최대 2% 높은 top-1 정확도 또는 고정된 정확도에서 10–200% 높은 압축률을 달성하여 표준 JPEG 및 더 복잡한 최적화 방법을 능가한다.

ABSTRACT

Deep learning for computer vision depends on lossy image compression: it reduces the storage required for training and test data and lowers transfer costs in deployment. Mainstream datasets and imaging pipelines all rely on standard JPEG compression. In JPEG, the degree of quantization of frequency coefficients controls the lossiness: an 8 by 8 quantization table (Q-table) decides both the quality of the encoded image and the compression ratio. While a long history of work has sought better Q-tables, existing work either seeks to minimize image distortion or to optimize for models of the human visual system. This work asks whether JPEG Q-tables exist that are "better" for specific vision networks and can offer better quality--size trade-offs than ones designed for human perception or minimal distortion. We reconstruct an ImageNet test set with higher resolution to explore the effect of JPEG compression under novel Q-tables. We attempt several approaches to tune a Q-table for a vision task. We find that a simple sorted random sampling method can exceed the performance of the standard JPEG Q-table. We also use hyper-parameter tuning techniques including bounded random search, Bayesian optimization, and composite heuristic optimization methods. The new Q-tables we obtained can improve the compression rate by 10% to 200% when the accuracy is fixed, or improve accuracy up to $2\%$ at the same compression rate.

연구 동기 및 목표

• JPEG 양자화 테이블이 인간 시각 인식이나 최소 왜곡을 위한 것이 아니라 딥 네트워크(DNN) 분류 성능을 위해 특별히 최적화될 수 있는지 조사하는 것.
• 특정 작업에 맞는 Q-테이블이 ImageNet과 같은 비전 데이터셋에서 정확도-압축률 트레이드오프를 향상시킬 수 있는지 탐색하는 것.
• Q-테이블 조정을 위한 다수의 최적화 전략—무작위 탐색, 제한된 무작위 탐색, 베이지안 최적화, 복합 히우리스틱 방법—을 평가하는 것.
• 고급 최적화 기법이 효과적인 작업 특화 Q-테이블을 찾는 데 있어 단순 기준선 방법을 능가하는지 여부를 판단하는 것.
• 압축 이미지 데이터를 사용할 때 DNN 성능을 향상시키는 실용적이고 효율적인 Q-테이블 생성 방법을 제공하는 것.

제안 방법

• 저자들은 기존에 이미 압축된 데이터셋에 의존하지 않고, 고해상도 ImageNet 검증 세트를 재구성하여 새로운 Q-테이블을 사용한 JPEG 압축을 시뮬레이션한다.
• 후보 Q-테이블을 생성하기 위해 정렬된 무작위 탐색 기반 방법을 사용하며, 계수는 정렬된 분포에서 샘플링되어 의미 있는 주파수 성분을 우선시한다.
• 제한된 무작위 탐색, 국소 격자 탐색을 통한 베이지안 최적화, 복합 히우리스틱 최적화를 적용하여 Q-테이블 하이퍼파라미터 공간을 탐색한다.
• 각 후보 Q-테이블에 대해, 압축된 데이터에 대해 미세조정된 ResNet50 모델에서 top-1 정확도와 압축률을 측정한다.
• 성능 비교의 통계적 안정성을 확보하기 위해 700개 클래스의 100개 무작위 샘플(클래스당 4장의 이미지)을 사용하여 교차검증을 수행한다.
• 각 시도당 결정 시간과 10개의 '좋은' Q-테이블(적합도 > -0.001)을 찾는 데 필요한 시도 횟수를 측정하여 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 JPEG 양자화 테이블을 최적화하여 딥러닝 모델의 정확도를 향상시키고 압축 효율을 유지하거나 향상시킬 수 있는가?
• RQ2 더 정교한 하이퍼파라미터 최적화 기법보다 단순한 무작위 탐색 방법이 효과적인 작업 특화 Q-테이블을 찾는 데 뛰어나지 않는가?
• RQ3 인간 시각 인식을 위한 것으로 최적화된 Q-테이블과 DNN 분류를 위한 것으로 최적화된 Q-테이블 사이에 상당한 성능 격차가 존재하는가?
• RQ4 동일한 Q-테이블이 다양한 DNN 아키텍처에서 효과적으로 작동하는가, 아니면 특정 모델에 특화되어 있는가?
• RQ5 비전 모델을 위한 Q-테이블 조정에서 최적화 복잡도와 성능 향상 사이의 트레이드오프는 어떠한가?

주요 결과

• 정렬된 무작위 탐색은 동일한 압축률에서 표준 JPEG 품질 50과 비교해 MatchedFrequency 및 ImageNet 검증 세트에서 각각 0.91%에서 1.16%까지 ResNet50의 top-1 정확도를 향상시켰다.
• 동일한 방법은 동일한 정확도를 유지하면서도 10%에서 200%까지 압축률을 높여 표준 JPEG를 크게 능가했다.
• 베이지안 최적화 및 복합 히우리스틱 최적화를 포함한 모든 최적화 방법이 표준 JPEG 대비 통계적으로 유의미한 정확도 향상을 보였으며, 모든 비교에서 p < 10−5였다.
• 높은 계산 비용에도 불구하고, 베이지안 최적화가 더 단순한 정렬된 무작위 탐색을 능가하지 못했으며, 후자는 더 빠르고 좋은 Q-테이블을 찾는 데 더 효율적이었다.
• 복합 히우리스틱 최적화기는 10개의 좋은 Q-테이블을 찾는 데 필요한 시도 횟수(150회)가 가장 적었지만, 정렬된 무작위 탐색 대비 성능 향상이 충분히 크지 않아 복잡성에 비해 정당화되지 않았다.
• 통계적 유의성 검증을 통해 표준 JPEG 대비 향상된 성능이 매우 유의미함을 확인했으며, 최고 성능을 보인 방법의 p < 10−11였다.