[논문 리뷰] A Compression Objective and a Cycle Loss for Neural Image Compression

Çağlar Aytekin, Francesco Cricri외 4명|arXiv (Cornell University)|2019. 01. 01.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경 이미지 압축을 향상시키기 위해 희박하고 낮은 엔트로피 활성화를 촉진하고 코드 도메인에서의 왜곡을 줄이기 위해 압축 목표와 사이클 손실을 도입한다. 복원 손실과 결합할 경우, 이러한 항목들은 인식-왜곡 트레이드오프를 따라 오토인코더를 이동시킨다: MSE만을 사용한 훈련은 이미지 도메인 왜곡을 최소화하지만, 사이클 손실 훈련은 유사한 비트레이트에서 인지적 품질을 향상시킨다.

ABSTRACT

In this manuscript we propose two objective terms for neural image compression: a compression objective and a cycle loss. These terms are applied on the encoder output of an autoencoder and are used in combination with reconstruction losses. The compression objective encourages sparsity and low entropy in the activations. The cycle loss term represents the distortion between encoder outputs computed from the original image and from the reconstructed image (code-domain distortion). We train different autoencoders by using the compression objective in combination with different losses: a) MSE, b) MSE and MSSSIM, c) MSE, MS-SSIM and cycle loss. We observe that images encoded by these differently-trained autoencoders fall into different points of the perception-distortion curve (while having similar bit-rates). In particular, MSE-only training favors low image-domain distortion, whereas cycle loss training favors high perceptual quality.

연구 동기 및 목표

• 새로운 훈련 목표를 도입하여 신경 이미지 압축에서 인식-왜곡 트레이드오프를 해결하는 것.
• 원본 이미지와 재구성된 이미지의 인코더 출력 간의 차이를 측정하여 코드 도메인 왜곡을 줄이는 것.
• 잠재 공간에서 낮은 엔트로피와 희박한 활성화를 장려하여 압축 효율성을 향상시키는 것.
• 다양한 손실 조합이 이미지 정밀도와 인지적 품질 사이의 균형에 어떻게 영향을 주는지 탐색하는 것.

제안 방법

• 압축 목표가 인코더 출력에 적용되어 잠재 표현에서 희박성과 낮은 엔트로피를 촉진한다.
• 사이클 손실이 원본 이미지의 인코더 출력과 재구성된 이미지 간의 왜곡을 측정하기 위해 도입된다.
• 사이클 손실은 잠재 공간 내 재구성 과정에서의 일관성을 장려하는 코드 도메인 왜곡 항목으로 작용한다.
• 표준 복원 손실과 함께 압축 목표를 결합한다: MSE, MSE + MSSSIM, MSE + MSSSIM + 사이클 손실.
• 이 하이브리드 손실 조합을 사용하여 오토인코더를 훈련하고, 그 압축 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 압축 목표를 추가함으로써 신경 이미지 압축에서 잠재 표현의 희박성과 엔트로피에 어떤 영향을 미치는가?
• RQ2 사이클 손실이 코드 도메인 왜곡을 어느 정도 줄이고 인지적 품질을 향상시키는가?
• RQ3 다양한 손실 조합이 이미지 정밀도와 인지적 품질 사이의 균형에 어떻게 영향을 주는가?
• RQ4 사이클 손실은 비트레이트를 증가시키지 않고도 더 높은 인지적 품질을 달성하는 데 도움이 될 수 있는가?

주요 결과

• 유사한 비트레이트에서 MSE만으로 훈련된 오토인코더에 비해 사이클 손실로 훈련된 오토인코더는 더 높은 인지적 품질을 달성한다.
• 압축 목표가 성공적으로 잠재 활성화의 희박성과 낮은 엔트로피를 촉진하여 압축 효율성을 향상시켰다.
• MSE, MS-SSIM, 사이클 손실의 조합은 인식-왜곡 곡선상에서 인지적 품질에 유리한 특별한 지점을 만들어 냈다.
• MSE만으로 훈련한 경우 낮은 이미지 도메인 왜곡을 보였지만 인지적 품질은 열 劣했으며, 이는 정밀도와 인식 사이의 트레이드오프를 확인시켰다.