[논문 리뷰] Towards Image Understanding from Deep Compression without Decoding

Robert Torfason, Fabian Mentzer외 4명|arXiv (Cornell University)|2018. 03. 16.

Advanced Image Processing Techniques참고 문헌 23인용 수 101

한 줄 요약

이 논문은 학습된 심층 이미지 압축으로부터의 압축 표현에서 직접 이미지 분류 및 시맨틱 세그멘테이션이 RGB 디코딩을 우회하고 계산량을 감소시켜 효과적으로 수행될 수 있으며, 공동 학습이 압축 품질과 추론 성능을 모두 개선한다는 것을 보여준다.

ABSTRACT

Motivated by recent work on deep neural network (DNN)-based image compression methods showing potential improvements in image quality, savings in storage, and bandwidth reduction, we propose to perform image understanding tasks such as classification and segmentation directly on the compressed representations produced by these compression methods. Since the encoders and decoders in DNN-based compression methods are neural networks with feature-maps as internal representations of the images, we directly integrate these with architectures for image understanding. This bypasses decoding of the compressed representation into RGB space and reduces computational cost. Our study shows that accuracies comparable to networks that operate on compressed RGB images can be achieved while reducing the computational complexity up to $2 imes$. Furthermore, we show that synergies are obtained by jointly training compression networks with classification networks on the compressed representations, improving image quality, classification accuracy, and segmentation performance. We find that inference from compressed representations is particularly advantageous compared to inference from compressed RGB images for aggressive compression rates.

연구 동기 및 목표

• 학습된 이미지 압축으로부터 얻은 압축 표현이 RGB로 디코딩하지 않고도 이미지 이해 작업을 지원할 수 있는지 이해한다.
• 여러 비트레이트 포인트에서 압축 표현과 디코딩된 RGB 입력 간의 분류 및 세그먼테이션 성능을 정량화한다.
• 압축 네트워크와 추론 네트워크의 공동 학습이 재구성 품질과 작업 정확도 모두에서 시너지를 낼 수 있는지 탐구한다.

제안 방법

• 이미지 압축을 위해 학습된 컨볼루션 자동인코더(Theis et al., 2017)를 사용하여 크기가 w/8 × h/8 × C인 압축 특성 맵을 생성한다.
• 28×28 피처 맵에 맞추기 위해 초기 RGB-특정 블록을 제거하여 압축 표현에서 작동하도록 ResNet 계열(cResNet)을 적응시킨다.
• ImageNet(ILSVRC2012)에서 3개 작동 지점(0.0983, 0.330, 0.635 bpp)으로 분류를 평가하고, 압축 표현 입력과 재구성된 RGB 입력을 비교한다.
• Dilated convolution과 ASPP를 이용한 DeepLab-스타일 아키텍처로 PASCAL VOC 2012의 시맨틱 세그멘테이션을 평가하고, 압축 표현으로부터의 입력과 디코딩된 RGB 입력을 비교한다.
• 압축과 추론 네트워크를 함께 학습시키되, 속도-왜곡(R/D)과 분류를 위한 교차 엔트로피(Eq. 2)를 균형 있게 사용하는 결합 손실로 학습한다.
• 작동 지점과 아키텍처 전반에 걸친 계산 비용(FLOPs)과 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 인퍼런스(분류/세그먼테이션)가 RGB로 디코딩하지 않고도 압축 표현에서 직접 수행될 수 있는가?
• RQ2 다양한 비트레이트 포인트에서 압축 표현의 성능이 디코딩된 입력에 비해 정확도와 계산 비용 측면에서 어떻게 다른가?
• RQ3 압축 및 추론 네트워크의 공동 학습이 압축 품질(SSIM/MS-SSIM)과 작업 정확도에 시너지 효과를 가져오는가?

주요 결과

bpp	네트워크 아키텍처	Top 5 acc. [%]	Top 1 acc. [%]	mIoU [%]
0.635	ResNet-50	89.96	71.06	65.75
0.635	ResNet-50	88.34	68.26	62.97
0.635	cResNet-51	87.85	67.68	62.86
0.635	cResNet-39	87.47	67.17	61.85
0.330	ResNet-50	86.25	65.18	60.75
0.330	cResNet-51	85.87	64.78	61.12
0.330	cResNet-39	85.46	64.14	60.78
0.0983	ResNet-50	78.52	55.30	52.97
0.0983	ResNet-71	79.28	56.23	54.55
0.0983	cResNet-51	78.20	55.18	54.62
0.0983	cResNet-72	79.02	55.82	55.78

• 압축 표현에서의 분류는 유사한 FLOPs에서 디코딩 기반 분류기와 거의 동등한 성능을 보이며, 디코딩+추론에 필요한 계산은 1.5–2× 더 적다.
• 0.635 bpp에서의 ImageNet의 Top-5 정확도는 압축 표현과 cResNet-51로 87.85%로, RGB 기반 ResNet-50/ResNet-71 기준점에 따라 0.5–0.3p 차이로 뒤처진다.
• 압축 표현에서의 세그멘테이션은 중간에서 강한 압축 조건에서도 디코딩 기반 방법과 같거나 더 나으며, 0.0983 bpp에서 평균 IoU가 디코딩된 RGB 입력 대비 최대 1.65포인트 향상된다.
• 압축 및 분류(및 세그멘테이션)의 공동 학습은 지각 품질(SSIM/MS-SSIM)의 작지만 뚜렷한 향상을 가져오고 고정 포인트 기반 기준선 대비 분류 +2%, 세그멘테이션 +1.7%의 성능 향상을 제공한다(0.0983 bpp에서 압축만 학습 대비).
• 압축+추론 네트워크는 소수의 아키텍처/학습 변경만 필요로 하며 디코딩이 필요하지 않을 때 런타임/메모리 이점을 크게 제공한다.