[논문 리뷰] Perceptually Optimizing Deep Image Compression

Li–Heng Chen, Christos G. Bampis외 3명|arXiv (Cornell University)|2020. 07. 03.

Image and Video Quality Assessment참고 문헌 46인용 수 8

한 줄 요약

이 논문은 MSE 대신 VMAF와 같은 인지적 품질 측도를 사용하여 딥 이미지 압축을 최적화하기 위한 프록시 네트워크 접근법을 제안한다. 인지적 품질 모델을 모방하는 미분 가능한 프록시 네트워크를 훈련시켜 엔드 투 엔드 최적화를 가능하게 하며, MSE 기반 훈련 대비 고정된 인지적 품질 수준에서 평균 비트레이트를 28.7% 감소시킨다.

ABSTRACT

Mean squared error (MSE) and $\ell_p$ norms have largely dominated the measurement of loss in neural networks due to their simplicity and analytical properties. However, when used to assess visual information loss, these simple norms are not highly consistent with human perception. Here, we propose a different proxy approach to optimize image analysis networks against quantitative perceptual models. Specifically, we construct a proxy network, which mimics the perceptual model while serving as a loss layer of the network.We experimentally demonstrate how this optimization framework can be applied to train an end-to-end optimized image compression network. By building on top of a modern deep image compression models, we are able to demonstrate an averaged bitrate reduction of $28.7\%$ over MSE optimization, given a specified perceptual quality (VMAF) level.

연구 동기 및 목표

• 딥 이미지 압축에서 MSE 기반 손실 함수와 인간 시각 인지 간의 부일치 문제를 해결하기 위해.
• VMAF와 같이 복잡하고 비가역적인 인지적 품질 모델을 사용한 딥 압축 네트워크의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 사용 가능한 미분 가능한 손실 함수로 사용할 수 있도록 인지적 품질 점수를 근사하는 학습 가능한 프록시 네트워크를 개발하기 위해.
• 인지적 이미지 품질을 유지하거나 향상시키면서도 상당한 비트레이트 절감을 달성하기 위해.
• 현대적인 딥 이미지 압축 아키텍처에 프레임워크를 검증하여 MSE 최적화 대비 측정 가능한 성능 향상을 보여주기 위해.

제안 방법

• 재구성된 이미지에서 인지적 품질 점수(예: VMAF)를 예측하도록 프록시 네트워크를 훈련시키며, 전체 참조 이미지 품질 평가 모델을 모방한다.
• 딥 이미지 압축 오토인코더의 훈련에 미분 가능한 손실 레이어로 프록시 네트워크를 통합한다.
• 교대 훈련 전략을 사용한다: 먼저 프록시 네트워크를 실제 이미지 쌍으로 사전 훈련한 후, 엔드 투 엔드 훈련 중에 압축 네트워크와 함께 공동으로 미세조정한다.
• 압축 네트워크는 프록시 네트워크가 예측한 품질 점수를 최대화하도록 최적화되어, 간접적으로 인지적 정밀도를 최적화한다.
• 해당 프록시 네트워크를 훈련시음으로써, 어떤 가역적 인지적 품질 모델이라도 프레임워크가 지원된다.
• 계산 효율성을 유지하며, 인코딩 및 디코딩 시간이 MSE 최적화 모델과 유사하여, 특히 GPU 가속을 통해 빠른 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 비가역적인 복잡한 인지적 이미지 품질 모델(예: VMAF)을 효과적으로 근사할 수 있는 미분 가능한 프록시 네트워크가 딥 러닝 훈련에 활용될 수 있는가?
• RQ2 인지적 지표의 프록시를 사용해 딥 이미지 압축 네트워크를 최적화할 경우, 동일한 인지적 품질 수준에서 측정 가능한 비트레이트 절감이 이루어지는가?
• RQ3 프록시 네트워크와 압축 네트워크 간의 교대 훈련 전략이 진정된 인지 점수와 예측된 인지 점수 간의 일치도에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 기존의 딥 압축 아키텍처에 적용될 수 있으며, 상당한 계산 오버헤드 없이 작동하는가?
• RQ5 엔드 투 엔드 압축에서 MSE를 인지적 프록시 손실로 대체할 경우, 인지적 품질과 비트레이트 사이의 상충 관계는 어떻게 되는가?

주요 결과

• 제안된 VMAF-프록시 최적화 모델은 고정된 인지적 품질 수준(VMAF)에서 MSE 최적화 모델 대비 평균 비트레이트를 28.7% 감소시켰다.
• 고비트레이트 영역에서 VMAF-프록시 모델은 인지적 품질에 손상 없이 약 16%의 비트레이트 절감을 달성하여 효율성 향상을 입증했다.
• 교대 훈련 전략은 프록시 네트워크 예측이 진정된 VMAF 점수와 잘 일치하도록 성공적으로 조정하였으며, 사전 훈련된 프록시를 사용할 경우 관찰된 초기 격리 현상을 감소시켰다.
• 극도로 압축된 상태(0.05 bpp)에서의 시각적 비교 결과, VMAF-프록시 모델은 MSE 최적화 모델을 능가했으며, HEVC 및 JPEG2000 수준의 인지적 품질을 달성했다.
• VMAF-프록시 모델의 런타임은 MSE 최적화 모델과 거의 동일했으며, 특히 GPU에서 작동할 경우 표준 코덱 수준의 인코딩 및 디코딩 시간을 유지했다.
• 프레임워크는 일반화 가능성을 입증하였으며, 동일한 접근 방식을 다른 인지적 품질 지표에 적용하기 위해 해당 지표에 맞는 프록시 네트워크를 훈련시음으로써 적용 가능하다.