[논문 리뷰] Deep Generative Models for Distribution-Preserving Lossy Compression

Michael Tschannen, Eirikur Agustsson외 1명|arXiv (Cornell University)|2018. 05. 28.

Advanced Image Processing Techniques참고 문헌 43인용 수 15

한 줄 요약

이 논문은 재구성 샘플이 진정한 데이터 분포를 따르도록 강제하면서도 비용-왜곡 트레이드오프를 최적화하는 새로운 프레임워크인 분포 유지 손실 압축(DPLC)을 소개한다. 워샤르슈타인 GAN과 워샤르슈타인 오토에인코더를 융합한 새로운 방법인 워샤르슈타인++을 통해, 모든 비트레이트에서 아티팩트 없는 다양하고 고해상도의 이미지 재구성을 달성한다. 이는 0 비트레이트에서의 확률적 생성 모델링부터 고비트레이트에서의 거의 완벽한 재구성에 이르기까지 가능하다.

ABSTRACT

We propose and study the problem of distribution-preserving lossy compression. Motivated by recent advances in extreme image compression which allow to maintain artifact-free reconstructions even at very low bitrates, we propose to optimize the rate-distortion tradeoff under the constraint that the reconstructed samples follow the distribution of the training data. The resulting compression system recovers both ends of the spectrum: On one hand, at zero bitrate it learns a generative model of the data, and at high enough bitrates it achieves perfect reconstruction. Furthermore, for intermediate bitrates it smoothly interpolates between learning a generative model of the training data and perfectly reconstructing the training samples. We study several methods to approximately solve the proposed optimization problem, including a novel combination of Wasserstein GAN and Wasserstein Autoencoder, and present an extensive theoretical and empirical characterization of the proposed compression systems.

연구 동기 및 목표

• 모든 비트레이트에서 재구성 샘플이 진정한 데이터 분포를 따르는 분포 유지 손실 압축(DPLC) 문제를 수식화하고 해결하는 것.
• 이전 연구의 한계—특히 저비트레이트에서의 모드 붕괴와 확률적 특성 부족—을 압축 과정에서 분포 제약 조건을 도입함으로써 극복하는 것.
• 생성 모델링(0 비트레이트)에서 완벽한 재구성(고비트레이트)으로의 부드러운 전이를 가능하게 하는 통합 프레임워크를 개발하는 것.
• 비트레이트에 대한 함수로서 재구성 분포와 왜곡의 이론적 특성화를 제공하는 것.
• 기존 방법과 비교하여 샘플 다양성과 시각적 품질에서 뛰어난 성능을 보여주기 위해 표준 데이터셋에서 실증적으로 검증하는 것.

제안 방법

• 재구성 분포가 훈련 데이터 분포와 일치하도록 강제하는 조건 하에 비용-왜곡 트레이드오프를 최소화하는 공식적인 DPLC 최적화 문제를 제안한다.
• 생성된 데이터와 진짜 데이터 분포 간의 분포 불일치를 측정하고 최소화하기 위해 워샤르슈타인 거리를 측정 척도로 사용한다.
• WAE(구조적 잠재 공간, 분리 가능성)의 이점을 갖는 동시에 WGAN(고품질 샘플 생성, 모드 커버리지)의 이점을 갖는 새로운 아키텍처인 워샤르슈타인++을 도입한다.
• WAE 목표로 훈련된 확률적 디코더와 WGAN으로 훈련된 생성기의 조합을 통해 고해상도이고 다양한 샘플을 보장한다.
• 에ncoder가 입력 데이터를 잠재 코드로 매핑하고, 디코더가 학습된 분포에서 샘플을 생성하는 변동형 추론 프레임워크를 적용한다.
• 차별 가능한 블로킹을 통해 재구성 정밀도, 분포 일치, 비트레이트 제약 조건을 균형 잡는 통합 훈련 목표를 사용한다.

실험 결과

연구 질문

• RQ1 모든 비트레이트에서 재구성 샘플이 훈련 데이터 분포와 정확히 일치하는 딥 압축 시스템을 설계할 수 있는가?
• RQ2 저비트레이트에서 디코더가 확률적으로 유지되고 모드 붕괴를 피하면서도 고정밀 재구성을 유지할 수 있는가?
• RQ3 이러한 시스템에서 비트레이트, 왜곡, 분포 충실도 사이의 이론적 관계는 무엇인가?
• RQ4 생성 모델링에서 완벽한 재구성으로의 부드러운 전이가 이루어지는 아키텍처나 훈련 방식의 변화 없이 통합 프레임워크를 구축할 수 있는가?
• RQ5 제안된 워샤르슈타인++ 방법은 기존의 GAN 기반 및 오토에인코더 기반의 압축 방법과 비교해 샘플 품질과 분포 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 DPLC 프레임워크는 모든 비트레이트에서 확률적이고 다양한 아티팩트 없는 재구성을 성공적으로 생성하며, 0 비트레이트에서도 진정한 생성 모델로 작동한다.
• 워샤르슈타인++는 CelebA에서 FID 10.93, LSUN 침실에서 FID 27.52를 기록하여 WAE를 능가하고 WGAN-GP와 동등한 샘플 품질을 확보했다.
• 0 비트레이트에서 이 방법은 기존의 전역 생성 압축(GC)과 달리 재구성에서 유효한 데이터 분포를 유지한다. GC는 모드 붕괴 문제를 악화시킨다.
• CelebA에서 재구성 FID는 10.93, LSUN에서는 27.52이며, 샘플 FID는 각각 23.36과 60.97로, 강력한 모드 커버리지와 샘플 다양성을 보여준다.
• 이론적 분석 결과, 왜곡은 비트레이트의 함수로 경계될 수 있으며, 비트레이트가 0에 가까워질수록 재구성 분포가 진짜 데이터 분포로 수렴함을 보였다.
• 실증 결과는 이 방법이 저비트레이트에서 특히 블러링과 블록 아티팩트를 피하며, CAE 기반 베이스라인과 GC 모두를 능가하는 시각적 품질을 확보함을 확인했다.