[논문 리뷰] Hierarchical Quantized Autoencoders

Will Williams, Sam Ringer외 4명|arXiv (Cornell University)|2020. 02. 19.

Advanced Data Compression Techniques참고 문헌 50인용 수 25

한 줄 요약

이 논문은 고해상도 이미지 재구성에 매우 낮은 비트레이트에서도 높은 품질의 시각적 현실감을 구현할 수 있도록 하는 새로운 아키텍처인 계층적 양자화 오토인코더(HQA)를 소개한다. 이는 새로운 학습 목표를 통해 계층적 이산 잠복 변수에 대한 확률적 분포를 모델링하고, 암묵적으로 시각적 사전 지식을 학습함으로써, 단순한 피드포워드 디코더만을 사용함에도 불구하고, 자동회귀적 디코더가 필요한 기존 방법들보다도 뛰어난 성능을 달성한다. 이는 CelebA와 MNIST 데이터셋에서 최신 기준을 초월한다.

ABSTRACT

Despite progress in training neural networks for lossy image compression, current approaches fail to maintain both perceptual quality and abstract features at very low bitrates. Encouraged by recent success in learning discrete representations with Vector Quantized Variational Autoencoders (VQ-VAEs), we motivate the use of a hierarchy of VQ-VAEs to attain high factors of compression. We show that the combination of stochastic quantization and hierarchical latent structure aids likelihood-based image compression. This leads us to introduce a novel objective for training hierarchical VQ-VAEs. Our resulting scheme produces a Markovian series of latent variables that reconstruct images of high-perceptual quality which retain semantically meaningful features. We provide qualitative and quantitative evaluations on the CelebA and MNIST datasets.

연구 동기 및 목표

• 기존 신경망 기반 이미지 압축 방법이 극도로 낮은 비트레이트에서 시각적 품질을 유지하는 데에 한계를 보이는 문제를 해결하기 위해.
• 극도로 압축 가능하면서도 의미적으로 유의미한 특징을 유지하는 계층적 VQ-VAE 아키텍처를 개발하기 위해.
• 하위 레이어의 전체 사후 분포를 암묵적으로 재구성할 수 있도록 하부 레이어의 재구성 목표를 강화하는 새로운 학습 목표를 도입하기 위해.
• 복잡한 자동회귀적 디코더가 아닌 단순한 피드포워드 디코더만으로도 고품질 재구성을 달성하기 위해.
• 탐색 가능한 학습과 독립적인 잠복 코드 전송을 지원하는 안정적이고 확장 가능하며 반복 가능한 학습 압축 방법을 제공하기 위해.

제안 방법

• 모델은 각 레이어가 이전 레이어의 출력에서 이산 잠복 코드를 학습하는 VQ-VAE의 계층적 스택을 사용한다.
• 새로운 학습 목표는 유닛 손실과 코드북 손실을 조합하고, 확률적 재구성 목표를 추가하여, 상위 레이어가 하위 레이어의 전체 사후 분포를 재구성하도록 유도한다.
• 각 수준에서 이산 코드에 대한 매개변수화된 분포를 통해 자연스럽게 확률성이 도입되어, 수동적인 노이즈 주입 방식을 피한다.
• 에코더는 각 레이어에서 양자화된 잠복 코드를 생성하고, 디코더는 단일 피드포워드 프로세스를 통해 최상위 레이어의 잠복 코드에서 이미지를 재구성한다.
• 어떤 레이어도 독립적으로 전송 가능하여, 다양한 추상 수준에서 고정 비트레이트 압축을 지원한다.
• 학습 안정성과 재구성 품질 향상을 위해 Gumbel-Softmax와 MSE 손실을 통합한다.

실험 결과

연구 질문

• RQ1 새로운 학습 목표를 갖춘 계층적 VQ-VAE가 기존 방법들보다 초저비트레이트에서 뛰어난 시각적 품질을 달성할 수 있는가?
• RQ2 계층적 이산 잠복 변수에 대한 확률적 분포를 모델링하는 것이 결정적 또는 자동회귀적 대안보다 더 나은 일반화와 시각적 현실감을 제공하는가?
• RQ3 복잡한 자동회귀적 디코더가 아닌 단순한 피드포워드 디코더로도 고품질 재구성을 달성할 수 있는가?
• RQ4 계층적 아키텍처는 의미적 콘텐츠를 어떻게 유지하고, 잠복 표현 간의 일관된 보간을 어떻게 지원하는가?
• RQ5 표준 VQ-VAE 학습과 비교했을 때, 제안된 목표가 CelebA와 같은 복잡한 데이터셋에서 안정성과 성능 향상에 얼마나 기여하는가?

주요 결과

• HQA는 CelebA 데이터셋에서 모든 비트레이트 수준에서 최고의 Fréchet Inception Distance(rFID) 점수를 기록했으며, 특히 극도로 압축된 수준에서 가장 큰 향상을 보였다.
• MNIST에서는 극도로 낮은 비트레이트에서도 가장 높은 분류 정확도를 유지하여, 기준선 대비 의미적 콘텐츠의 보존 정도가 뛰어나다는 것을 시사한다.
• 잠복 공간 내 선형 보간 결과, HQA는 VQ-VAE와 HAMs와 달리 날카우면서도 일관되고 현실적인 중간 이미지를 생성하는 반면, 기존 방법들은 기형되거나 흐릿한 출력을 낳는다.
• 제거 실험 결과, Gumbel-Softmax와 MSE 손실을 함께 사용할 경우 성능 향상이 가장 크게 나타나, 이 두 요소가 상호 보완적인 이점을 가짐을 확인했다.
• HQA는 VQ-VAE, HAMs, VQ-VAE-2를 모두 압도하며, 특히 100 비트/이미지 이하의 비트레이트에서 시각적 품질과 의미 일관성 면에서 뛰어난 성능을 보였다.
• 복잡한 데이터셋인 CelebA에서 학습 안정성을 확보하기 위해 확률적 손실이 필수적이며, 이는 MNIST와 같은 단순한 작업에서는 약간의 성능 저하를 초래할 수 있다.