[논문 리뷰] GAN- vs. JPEG2000 Image Compression for Distributed Automotive Perception: Higher Peak SNR Does Not Mean Better Semantic Segmentation

Jonas Löhdefink, Andreas Bär외 4명|arXiv (Cornell University)|2019. 02. 12.

Image and Signal Denoising Methods인용 수 11

한 줄 요약

이 논문은 분산 자동차 인식 시스템을 위한 GAN 기반 이미지 압축을 JPEG2000 및 기존 코덱과 비교하여 평가하며, PSNR가 낮음에도 불구하고 GAN 압축이 의미론적 세그멘테이션 mIoU를 크게 향상시킴을 보여준다. 특히 세그멘테이션 모델을 GAN 재구성에 맞춰 미세조정할 경우, 원본 이미지로 훈련한 모델 대비 mIoU가 16.6% 향상되며, 0.0625 bit/pixel에서 최대 3.9%p의 절대적 향상이 이루어진다.

ABSTRACT

The high amount of sensors required for autonomous driving poses enormous challenges on the capacity of automotive bus systems. There is a need to understand tradeoffs between bitrate and perception performance. In this paper, we compare the image compression standards JPEG, JPEG2000, and WebP to a modern encoder/decoder image compression approach based on generative adversarial networks (GANs). We evaluate both the pure compression performance using typical metrics such as peak signal-to-noise ratio (PSNR), structural similarity (SSIM) and others, but also the performance of a subsequent perception function, namely a semantic segmentation (characterized by the mean intersection over union (mIoU) measure). Not surprisingly, for all investigated compression methods, a higher bitrate means better results in all investigated quality metrics. Interestingly, however, we show that the semantic segmentation mIoU of the GAN autoencoder in the highly relevant low-bitrate regime (at 0.0625 bit/pixel) is better by 3.9% absolute than JPEG2000, although the latter still is considerably better in terms of PSNR (5.91 dB difference). This effect can greatly be enlarged by training the semantic segmentation model with images originating from the decoder, so that the mIoU using the segmentation model trained by GAN reconstructions exceeds the use of the model trained with original images by almost 20% absolute. We conclude that distributed perception in future autonomous driving will most probably not provide a solution to the automotive bus capacity bottleneck by using standard compression schemes such as JPEG2000, but requires modern coding approaches, with the GAN encoder/decoder method being a promising candidate.

연구 동기 및 목표

• 분산 인식 시스템을 위한 자동차 이미지 압축에서 비트레이트와 인식 성능 간의 상호 상충 관계를 평가하기 위해.
• 의미론적 세그멘테이션 맥락에서 전통적 코덱(JPEG, JPEG2000, WebP)과 GAN 기반 오토에코더를 비교하기 위해.
• PSNR 및 SSIM과 같은 왜곡 측정값이 하류 인식 성능을 신뢰할 수 있게 예측하는지 조사하기 위해.
• 원본 이미지 대비 압축 재구성에 기반해 의미론적 세그멘테이션 모델을 훈련시키는 것이 성능에 미치는 영향을 평가하기 위해.
• 픽셀 수준 재구성 품질이 열 劣한 GAN 기반 압축이 실제 인식 작업에서 표준 코덱을 능가할 수 있는지 확인하기 위해.

제안 방법

• 압축 프레임워크로 GAN 기반 오토에코더를 사용하며, 공유 인코더/디코더 아키텍처와 잠재 블록체인 표현을 갖춘다.
• 생성망 네트워크는 압축된 잠재 코드에서 이미지를 재구성하도록 학습하고, 구분망은 진짜 이미지와 생성된 이미지를 구분하도록 훈련된다.
• 의미론적 구조를 유지하기 위해 적대적 손실과 인지적 재구성 손실의 조합으로 모델을 훈련시킨다.
• 실제 자동차 버스 제약 조건을 시뮬레이션하고 엔드 투 엔드 미분 가능성을 확보하기 위해 훈련 과정에 양자화를 통합한다.
• 의미론적 세그멘테이션은 DeepLabv3를 사용하며, 인식 성능 평가의 주요 지표로 mIoU를 사용한다.
• 모델은 원본 이미지와 JPEG2000 및 GAN 압축의 재구성 결과에서 평가되며, 압축 입력에 대한 내성 강화를 평가하기 위해 미세조정 프로토콜이 적용된다.

실험 결과

연구 질문

• RQ1 저비트레이트 영역에서 이미지 압축의 PSNR가 높을수록 항상 의미론적 세그멘테이션 성능이 향상되는가?
• RQ2 저비트레이트(예: 0.0625 bit/pixel)에서 GAN 기반 이미지 압축은 JPEG2000 대비 의미론적 세그멘테이션 mIoU에서 어떻게 비교되는가?
• RQ3 GAN 재구성 이미지에 기반해 의미론적 세그멘테이션 모델을 미세조정할 경우, 원본 이미지로 훈련한 경우에 비해 mIoU는 얼마나 향상되는가?
• RQ4 자율주행 시스템을 위한 압축 평가에서, 전통적 왜곡 측정값(PSNR, SSIM)보다 인식 지표(mIoU)가 더 뛰어나게 평가할 수 있는가?
• RQ5 버스 대역폭이 제한된 분산 인식 시스템에서 GAN 기반 압축 방법은 실용적인가?

주요 결과

• 0.0625 bit/pixel에서, GAN 기반 압축은 PSNR가 5.91 dB 높은 JPEG2000에 비해 mIoU에서 3.9%p 절대적 향상을 달성한다.
• 의미론적 세그멘테이션 모델을 GAN 재구성에 맞춰 미세조정하면, 원본 이미지로 훈련한 경우 대비 mIoU가 16.6%p 절대적으로 향상된다(48.1%에서 64.7%로).
• Cityscapes 테스트 세트에서, GAN 기반 압축을 사용하고 모델을 GAN 재구성에 기반해 훈련한 경우 mIoU는 50.4%를 기록하며, JPEG2000의 46.0% mIoU를 초월한다.
• 미세조정 없이도, GAN 기반 방법은 세그멘테이션 모델이 원본 이미지로 훈련된 경우 59.69% mIoU를 기록하며, JPEG2000가 압축 재구성에 기반해 미세조정된 경우에만 65.0%를 기록하는 것보다 높다.
• 모델이 압축된 데이터에 대해 미세조정될 경우, GAN과 JPEG2000 간의 mIoU 성능 격차가 크게 벌어지며, 이는 GAN이 인식 파이프라인과 더 호환됨을 시사한다.
• 결과적으로 전통적 왜곡 측정값(예: PSNR)은 저비트레이트에서 인식 성능을 신뢰할 수 없으며, 자동차 시스템에서는 인식 인지 압축이 필수적임을 입증한다.