[논문 리뷰] Variable-Rate Deep Image Compression through Spatially-Adaptive Feature Transform

Myungseo Song, Jin-Young Choi외 1명|arXiv (Cornell University)|2021. 08. 21.

Advanced Image Processing Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 연속적인 픽셀 단위 품질 맵을 기반으로 압축을 조절하는 공간적 적응형 기능 변환(SFT)을 사용하는 단일 딥 네트워크를 제안한다. 이 모델은 재학습 없이 역전파를 통해 품질 맵을 최적화함으로써 작업 지향 압축을 가능하게 하여, 고정 비트레이트 모델에 비해 뛰어난 비트레이트-왜곡 성능과 작업별 정확도(예: 분류, 텍스트 유지)를 달성한다.

ABSTRACT

We propose a versatile deep image compression network based on Spatial Feature Transform (SFT arXiv:1804.02815), which takes a source image and a corresponding quality map as inputs and produce a compressed image with variable rates. Our model covers a wide range of compression rates using a single model, which is controlled by arbitrary pixel-wise quality maps. In addition, the proposed framework allows us to perform task-aware image compressions for various tasks, e.g., classification, by efficiently estimating optimized quality maps specific to target tasks for our encoding network. This is even possible with a pretrained network without learning separate models for individual tasks. Our algorithm achieves outstanding rate-distortion trade-off compared to the approaches based on multiple models that are optimized separately for several different target rates. At the same level of compression, the proposed approach successfully improves performance on image classification and text region quality preservation via task-aware quality map estimation without additional model training. The code is available at the project website: https://github.com/micmic123/QmapCompression

연구 동기 및 목표

• 각 목표 비트레이트에 대해 별도의 훈련이 필요로 하는 고정 비트레이트 딥 압축 모델의 한계를 해결한다.
• 다양한 이미지 영역이 픽셀 단위 중요도에 따라 다른 비트레이트로 압축되는 공간적 적응형 압축을 가능하게 한다.
• 메인 압축 모델의 미세조정 없이 추론 시점에 작업별 품질 맵을 생성하는 방법을 개발한다.
• 단일 모델을 사용하여 광범위한 비트레이트 범위에서 최신 기술 수준의 비트레이트-왜곡 성능을 달성한다.
• 작업별 목표(예: 분류, 텍스트 인식)를 고려해 품질 맵을 최적화함으로써 중요한 이미지 콘텐츠를 유지한다.

제안 방법

• 실수 값의 연속적인 품질 맵을 기반으로 이미지 압축 네트워크를 조절하여, 왜곡 가중치에 대한 픽셀 단위 중요도를 지정한다.
• 공간적 적응형 기능 변환(SFT) 레이어를 사용하여 품질 맵에 따라 특징 맵을 조절함으로써 픽셀 단위 비트레이트 적응을 가능하게 한다.
• 품질 맵을 공간적으로 변하는 가중치로 포함한 비트레이트-왜곡 손실을 사용하여 네트워크를 훈련한다.
• 역전파를 사용하여 추론 시점에 작업 지향 품질 맵을 최적화하며, 사전 훈련된 작업 모델(예: VGG16)을 기반으로 가이던스를 제공한다.
• 다양한 압축 비트레이트를 커버하는 단일 엔드 투 엔드 훈련 가능한 모델을 사용하여 별도의 독립적 훈련된 모델이 필요 없도록 한다.
• 메인 압축 네트워크의 재학습 없이 인코딩 단계에 품질 맵 최적화를 통합함으로써 빠른 실시간 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속적인 픽셀 단위 품질 맵을 사용하여 단일 딥 압축 모델이 광범위한 비트레이트 범위에서 높은 성능을 달성할 수 있는가?
• RQ2 압축 모델의 재학습 없이 테스트 시점에 작업 지향 품질 맵을 생성할 수 있으며, 이는 추론 작업 성능을 향상시키는가?
• RQ3 제안된 방법은 고정 비트레이트 모델의 집합에 비해 비트레이트-왜곡 성능과 작업별 정확도 측면에서 어떻게 비교되는가?
• RQ4 SFT를 통한 공간적 적응성은 균일하거나 패치 기반 압축에 비해 관심 영역의 복원 품질을 얼마나 향상시키는가?
• RQ5 제안된 프레임워크에 자동회귀적 문맥 모델이 포함되어 있지 않아 성능에 제한을 줄 수 있으며, 이러한 구성 요소를 통합하여 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 모델은 자동회귀적 문맥 모델을 사용하지 않아도 M&S 및 M&S+Context와 같은 고정 비트레이트 모델보다 비트레이트-왜곡 성능에서 뛰어나다.
• 복잡한 문맥 모델링을 갖춘 최신 기술 수준의 방법들과 비교해도 성능이 뛰어나거나 유사하며, 더 유연하고 효율적이다.
• 추론 시점에 작업 지향 품질 맵 최적화를 통해 분류 정확도가 최대 12.5% 향상되며, TitanXp GPU에서 추론 비용이 1초 미만이다.
• Grad-CAM 또는 수동으로 정의된 텍스트 ROI를 기반으로 유도할 경우, 낮은 비트레이트에서도 균일한 압축보다 텍스트 영역을 더 잘 유지한다.
• 제거 분석 결과, 원본 이미지를 품질 맵 생성기의 입력으로 사용하는 소스 조건화가 성능 향상에 크게 기여하며, 특히 공간적 적응성 측면에서 두드러진다.
• 다양한 품질 맵에서 고정밀도 MS-SSIM 및 PSNR 점수를 유지하며, BPG 및 M&S 하이퍼프리어와 비교해 훨씬 뛰어난 질감 유지 성능을 보인다.