[논문 리뷰] Evaluating Lossy Compression Rates of Deep Generative Models

Sicong Huang, Alireza Makhzani외 2명|arXiv (Cornell University)|2020. 08. 15.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 깊이 있는 생성 모델에 대한 종합적인 평가 프레임워크로 비용-손실(RD) 곡선을 제안하며, Annealed Importance Sampling(AIS)를 사용해 단일 로그-가능도 추정과 유사한 계산 비용으로 전체 RD 곡선을 근사할 수 있음을 보여준다. 주요 기여는 VAE가 손실 없는 성능에서는 더 나아지지만 손실 압축의 저비트 영역에서 성능이 떨어지는 것을 드러내었고, GAN은 넓이와 깊이가 증가함에 따라 전반적으로 뛰어난 성능을 유지함으로써 로그-가능도나 FID와 같은 스칼라 지표로는 드러나지 않는 더 풍부한 통찰을 제공한다.

ABSTRACT

The field of deep generative modeling has succeeded in producing astonishingly realistic-seeming images and audio, but quantitative evaluation remains a challenge. Log-likelihood is an appealing metric due to its grounding in statistics and information theory, but it can be challenging to estimate for implicit generative models, and scalar-valued metrics give an incomplete picture of a model's quality. In this work, we propose to use rate distortion (RD) curves to evaluate and compare deep generative models. While estimating RD curves is seemingly even more computationally demanding than log-likelihood estimation, we show that we can approximate the entire RD curve using nearly the same computations as were previously used to achieve a single log-likelihood estimate. We evaluate lossy compression rates of VAEs, GANs, and adversarial autoencoders (AAEs) on the MNIST and CIFAR10 datasets. Measuring the entire RD curve gives a more complete picture than scalar-valued metrics, and we arrive at a number of insights not obtainable from log-likelihoods alone.

연구 동기 및 목표

• 생성 모델 평가에서 로그-가능도나 FID와 같은 스칼라 지표의 한계, 특히 GAN과 같은 암묵적 모델에 대해 해결하고자 한다.
• 깊이 있는 생성 모델의 전체 비용-손실(RD) 곡선을 추정하는 계산 비용이 적은 방법을 개발하고자 한다.
• 압축 비트율과 재구성 정밀도 사이의 트레이드오프를 더 완전하고 이론적으로 탄탄한 평가로 제공하고자 한다.
• 로그-가능도만으로는 드러나지 않는 모델 행동, 예를 들어 저비트 영역에서의 성능 저하와 같은 통찰을 드러내고자 한다.

제안 방법

• 잠재 변수에 대한 비정규화된 사후 분포의 정규화 상수를 추정하기 위해 Annealed Importance Sampling(AIS)를 활용하며, 이는 비용-손실 분석에 필요한 분포에 해당한다.
• 다양한 분산을 가진 정규 분포 관측 모델 하에서 비용-손실 함수를 가우시안 관측 모델 하의 사후 분포의 집합으로 간주하여, AIS를 통해 추정할 수 있도록 한다.
• AIS로 추정한 RD 곡선이 상한선임을 증명하였으며, 시뮬레이션 데이터에 대해 이중 방향 몬테카를로(BDMC)를 사용해 타당성을 검증하였다.
• 로그-가능도 추정에 사용되는 동일한 AIS 계산 파이프라인을 활용해 전체 RD 곡선을 동시에 근사함으로써 추가 계산 비용을 최소화하였다.
• 심리적 의미를 지닌 손실 측정 지표, 예를 들어 깊은 특징에서의 MSE와 SSIM을 사용해 다양한 손실 정의에 대한 강건성을 평가하였다.
• 다양한 추정 방법의 정확도를 평가하기 위해 AIS 추정치와 변분 근사치를 비교하였으며, 특히 다중 모달 사후 분포를 가진 GAN과 같은 모델에 대해 검토하였다.

실험 결과

연구 질문

• RQ1 깊이 있는 생성 모델에 대해 유의미한 계산 비용 증가 없이 RD 곡선을 효율적으로 추정할 수 있는 방법은 무엇인가?
• RQ2 스칼라 지표인 로그-가능도나 FID로는 드러나지 않는, 전체 RD 곡선이 드러내는 모델 행동에 대한 통찰은 무엇인가?
• RQ3 VAE, GAN, AAE는 코드 크기와 네트워크 깊이에 따라 비용-손실 트레이드오프에서 어떻게 다를까?
• RQ4 손실 측정 지표의 선택(예: 픽셀 단위 MSE vs. 깊은 특징의 MSE)이 RD 곡선의 해석에 상당한 영향을 미치는가?
• RQ5 복잡한 사후 분포를 가진 모델, 특히 GAN과 같은 암묵적 모델의 경우, 변분 근사치와 비교해 AIS 추정치의 정확도는 어느 정도인가?

주요 결과

• 더 큰 코드 크기를 가진 VAE는 손실 없는 압축에서는 더 나은 성능을 보이나, 손실 압축의 저비트 영역에서 심각한 성능 저하를 겪는다.
• GAN은 전체 비용-손실 스펙트럼에서 뛰어난 성능을 유지하며, 넓이가 증가하면 곡선이 왼쪽으로 이동하고 깊이가 증가하면 아래로 이동한다.
• RD 곡선은 GAN이 높은 용량(특히 넓이)을 가질수록 고비트 영역에서 낮은 손실을 달성하면서도 저비트 성능을 희생하지 않는다는 것을 드러낸다.
• 매우 다중 모달 사후 분포를 가진 GAN의 경우 변분 근사는 신뢰할 수 있는 상한선을 제공하지 못하지만, 더 다루기 쉬운 사후 분포를 가진 VAE에서는 성능이 더 좋다.
• 픽셀 단위 MSE와 깊은 특징의 MSE와 같은 다양한 손실 정의에 대해 RD 곡선의 정성적 형태는 일관되게 유지되며, 분석의 강건성을 시사한다.
• 특히 변분 방법이 오해의 소지가 있는 암묵적 모델인 GAN의 경우, AIS는 변분 방법보다 더 날카롭고 정확한 RD 곡선 추정치를 제공한다.