[논문 리뷰] Preprocessing Enhanced Image Compression for Machine Vision

Lu Guo, Xingtong Ge외 3명|arXiv (Cornell University)|2022. 06. 12.

Advanced Image and Video Retrieval Techniques인용 수 13

한 줄 요약

이 논문은 BPG 및 JPEG와 같은 표준 코덱 이전에 신경망 전처리 모듈(NPP)을 통합하여 기계 시각 작업을 최적화하는 전처리 향상 이미지 압축 프레임워크를 제안한다. 비가역적 코덱을 통해 엔드 투 엔드 역전파를 가능하게 하는 프록시 네트워크를 사용함으로써, BPG 대비 약 20%의 비트레이트 감소를 달성하면서도 하류 탐지 및 분류 성능을 유지 또는 향상시키며, 다양한 코덱, 백본, 작업에 걸쳐 우수한 일반화 성능을 보인다.

ABSTRACT

Recently, more and more images are compressed and sent to the back-end devices for the machine analysis tasks~( extit{e.g.,} object detection) instead of being purely watched by humans. However, most traditional or learned image codecs are designed to minimize the distortion of the human visual system without considering the increased demand from machine vision systems. In this work, we propose a preprocessing enhanced image compression method for machine vision tasks to address this challenge. Instead of relying on the learned image codecs for end-to-end optimization, our framework is built upon the traditional non-differential codecs, which means it is standard compatible and can be easily deployed in practical applications. Specifically, we propose a neural preprocessing module before the encoder to maintain the useful semantic information for the downstream tasks and suppress the irrelevant information for bitrate saving. Furthermore, our neural preprocessing module is quantization adaptive and can be used in different compression ratios. More importantly, to jointly optimize the preprocessing module with the downstream machine vision tasks, we introduce the proxy network for the traditional non-differential codecs in the back-propagation stage. We provide extensive experiments by evaluating our compression method for two representative downstream tasks with different backbone networks. Experimental results show our method achieves a better trade-off between the coding bitrate and the performance of the downstream machine vision tasks by saving about 20% bitrate.

연구 동기 및 목표

• 기존 이미지 코덱이 인간 시각 품질(예: PSNR)을 최적화하는 데서 비롯하는 격차를 해소한다.
• 표준 코덱(예: BPG, JPEG)의 비가역성으로 인해 딥 러닝 모델과 함께 공동 최적화가 불가능한 문제를 해결한다.
• 학습된 엔드 투 엔드 코덱이 필요 없이도 일반화 가능하고 표준 형식과 호환되는 압축 파이프라인을 개발한다.
• 다양한 압축 비율(QP 설정)에 대응하는 양자화 적응형 전처리를 가능하게 한다.
• 다양한 하류 작업(객체 탐지, 이미지 분류)과 백본 네트워크에서 프레임워크의 유효성을 입증한다.

제안 방법

• 표준 코덱 인코딩 이전에 입력 이미지를 필터링하여 기계 시각에 유의미한 의미적 특징을 유지하고 불필요한 콘텐츠를 억제하는 신경망 전처리 모듈(NPP)을 도입한다.
• 비가역적 코덱(예: BPG)의 행동을 근사하기 위해 역전파 동안 프록시 네트워크를 사용하여 NPP 모듈로의 기울기 유입을 가능하게 한다.
• 프록시 네트워크를 사용해 NPP를 하류 기계 시각 작업과 함께 엔드 투 엔드로 훈련시키며, 낮은 비트레이트와 높은 작업 정확도를 동시에 최적화한다.
• NPP 모듈을 양자화 적응형으로 설계하여, 재학습 없이도 BPG의 다양한 QP 값에서 작동할 수 있도록 한다.
• BPG에서 훈련된 동일한 NPP 모델을 피팅 없이 JPEG에 그대로 적용함으로써 코덱 간 이식성(transferability)을 입증한다.
• 프록시 네트워크는 전방향 전파에서 BPG 디코딩 과정을 모방하지만, 동시에 기울기가 NPP로 역전파되어 최적화가 가능하도록 한다.

Figure 1: (a) Image compression method for human visual system. (b) Our proposed preprocessing enhanced image compression for machine vision tasks. (c) Image classification results for the image from the BPG codec and ours(NPP+BPG).

실험 결과

연구 질문

• RQ1 비가역적 코덱(예: BPG, JPEG)을 사용할 때 신경망 전처리 모듈이 기계 시각 성능을 향상시킬 수 있는가?
• RQ2 프록시 네트워크가 비가역적 코덱을 통해 NPP 모듈의 엔드 투 엔드 훈련을 얼마나 효과적으로 가능하게 하는가?
• RQ3 단일 NPP 모델이 다양한 압축 비율(QP 값)과 하류 작업 간에 얼마나 잘 일반화되는가?
• RQ4 객체 탐지에 최적화된 NPP 모델을 피팅 없이 다른 작업(예: 이미지 분류)에 이식할 수 있는가?
• RQ5 기존 코덱 대비 비트레이트 절감 효과는 유지되면서도 하류 작업 정확도를 유지 또는 향상시키는가?

주요 결과

• 제안된 방법은 객체 탐지 및 이미지 분류 작업 모두에서 BPG 대비 약 20%의 비트레이트 감소를 달성하면서도 동일한 모델 정확도를 유지한다.
• BPG에서 훈련된 NPP 모듈은 피팅 없이도 JPEG로 잘 일반화되어 표준 JPEG 대비 8.5% 이상의 비트레이트 절감 효과를 보였다.
• 작업 간 전이 학습(예: 탐지 최적화 NPP를 분류에 사용)을 통해 10% 이상의 비트레이트 절감 효과를 기록하여 강력한 작업 간 일반화 능력을 입증했다.
• 프록시 네트워크 덕분에 BPG를 통해 효과적인 역전파가 가능해져, NPP가 하류 작업과 함께 공동 최적화될 수 있었으며, 이는 표준 코덱에서는 불가능한 일이다.
• NPP 모듈은 최소한의 계산 오버헤드를 유발하며, 224×224 이미지 기준으로 추론 시간이 5.17ms, 파라미터 수는 9.42M으로 실용적인 실세계 구현에 적합하다.
• 작업 중심 최적화로 인해 PSNR 및 MS-SSIM는 감소하지만, 시각적 품질 지표인 LPIPS는 갭이 좁아진다. LPIPS 기준으로는 BPG 대비 뿐만 아니라 8% 더 많은 비트레이트를 사용할 뿐이므로, 수용 가능한 시각 품질의 희생을 반영한다.

Figure 2: Overview of our preprocessing enhanced image compression for machine vision.