[논문 리뷰] Fast Relative Entropy Coding with A* coding

Gergely Flamich, Stratis Markou외 1명|arXiv (Cornell University)|2022. 01. 30.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 연속 분포에 대해 단일 최빈값을 가진 밀도 비율 조건 하에서 $ϵ(D_{∞}[Q\|P])$ 예상 런타임을 달성하면서도 $ϵ(D_{\mathrm{KL}}[Q\|P])$ 예상 코드길이를 유지하는 A*-기반 상대 엔트로피 코딩(REC) 알고리즘인 AS* 및 AD* 코딩을 소개한다. 이 방법은 제안된 IsoKL VAE(IKVAE)를 통해 양자화 없이 MNIST에서 거의 최적의 압축을 달성하는 효율적이고 미분 가능한 압축을 가능하게 한다.

ABSTRACT

Relative entropy coding (REC) algorithms encode a sample from a target distribution $Q$ using a proposal distribution $P$, such that the expected codelength is $\mathcal{O}(D_{KL}[Q \,||\, P])$. REC can be seamlessly integrated with existing learned compression models since, unlike entropy coding, it does not assume discrete $Q$ or $P$, and does not require quantisation. However, general REC algorithms require an intractable $Ω(e^{D_{KL}[Q \,||\, P]})$ runtime. We introduce AS* and AD* coding, two REC algorithms based on A* sampling. We prove that, for continuous distributions over $\mathbb{R}$, if the density ratio is unimodal, AS* has $\mathcal{O}(D_{\infty}[Q \,||\, P])$ expected runtime, where $D_{\infty}[Q \,||\, P]$ is the Rényi $\infty$-divergence. We provide experimental evidence that AD* also has $\mathcal{O}(D_{\infty}[Q \,||\, P])$ expected runtime. We prove that AS* and AD* achieve an expected codelength of $\mathcal{O}(D_{KL}[Q \,||\, P])$. Further, we introduce DAD*, an approximate algorithm based on AD* which retains its favourable runtime and has bias similar to that of alternative methods. Focusing on VAEs, we propose the IsoKL VAE (IKVAE), which can be used with DAD* to further improve compression efficiency. We evaluate A* coding with (IK)VAEs on MNIST, showing that it can losslessly compress images near the theoretically optimal limit.

연구 동기 및 목표

• 상대 엔트로피 코딩(REC) 알고리즘의 높은 런타임 문제를 해결하되, KL 발산과 함께 기하급수적으로 증가하는 문제를 다루기 위해.
• 학습 시 연속 근사와 추론 시 이산 양자화를 사용함으로써 발생하는 양자화 불일치 문제를 해결하기 위해.
• 연속 분포에 대해 증명 가능하게 빠른 런타임과 낮은 코드길이를 갖는 REC 알고리즘 개발을 위해, 특히 변분 오토에인절(VAEs)에 적용 가능한 알고리즘 개발을 목표로 한다.
• 변동 길이 코드를 인코딩할 때 발생하는 코드길이 오버헤드를 줄이기 위해 블록 기반 코딩을 도입하고 고정된 코드길이를 사용한다.
• DAD*와 함께 사용할 수 있도록 잠재 분포를 KL 발산과 레니이 ∞-발산을 사용해 매개변수화하는 IsoKL VAE(IKVAE)를 제안한다.

제안 방법

• A* 샘플링 기반의 REC 알고리즘인 AS* 및 AD* 코딩을 도입하여, 제안 분포 P에서 효율적으로 표본을 추출하여 목표 분포 Q의 표본을 코딩한다.
• 단일 최빈값 밀도 비율 가정 하에 AS*가 $ϵ(D_{\infty}[Q\|P])$ 예상 런타임을 갖는다는 것을 증명한다. 여기서 $D_{\infty}[Q\|P]$ 는 레니이 ∞-발산이다.
• DAD* 는 AD* 의 근사 버전으로, 블록당 고정된 코드길이를 설정하여 오버헤드를 줄이되, 낮은 편향과 빠른 런타임을 유지한다.
• 잠재 분포를 $D_{\mathrm{KL}}[Q\|P]$ 와 $D_{\infty}[Q\|P]$ 를 사용해 매개변수화하는 IsoKL VAE(IKVAE)를 제안하여, 모든 블록 간에 코드길이를 묶을 수 있도록 한다.
• 평균과 분산에 대한 제약 조건을 만족시키기 위해 지수 함수 및双곡탄산함수 변환을 사용한 비제약 매개변수화를 구현한다.
• 가우시안 매개변수화에서 분산을 계산하기 위해 라마르트 W 함수를 사용하며, 수치적 안정성과 실용적 효율성을 확보하기 위해 패드 급수 근사를 적용한다.

실험 결과

연구 질문

• RQ1 A*-기반 샘플링을 사용하여 연속 분포에 대해 증명 가능한 빠른 런타임을 갖는 REC 알고리즘을 설계할 수 있는가?
• RQ2 단일 최빈값 밀도 비율 가정 조건 하에서 AS*의 런타임에 $ϵ(D_{\infty}[Q\|P])$ 의 경계가 존재하는가?
• RQ3 형식적인 증명 없이도 AD* 가 AS* 와 유사한 런타임 스케일링을 달성할 수 있는가?
• RQ4 고정된 코드길이를 갖는 근사 REC는 블록 기반 코딩에서 코드길이 오버헤드를 줄일 수 있는가? 이때 편향은 증가하지 않는가?
• RQ5 잠재 분포를 $D_{\mathrm{KL}}[Q\|P]$ 와 $D_{\infty}[Q\|P]$ 를 사용해 매개변수화함으로써 DAD* 와 함께 효율적이고 낮은 오버헤드의 압축을 달성할 수 있는가?

주요 결과

• 단일 최빈값 밀도 비율 가정 하에 AS* 는 $ϵ(D_{\mathrm{KL}}[Q\|P])$ 예상 코드길이와 $ϵ(D_{\infty}[Q\|P])$ 예상 런타임을 달성한다.
• AD* 는 광범위한 실험적 증거에 기반해 $ϵ(D_{\infty}[Q\|P])$ 예상 런타임을 보이며, 형식적인 증명은 제공되지 않는다.
• AD* 의 근사 버전인 DAD* 는 AD* 의 빠른 런타임을 유지하면서도 고정된 블록 코드길이로 인해 코드길이 오버헤드를 줄인다.
• IsoKL VAE(IKVAE) 는 $D_{\mathrm{KL}}[Q\|P]$ 와 $D_{\infty}[Q\|P]$ 를 사용해 잠재 분포를 매개변수화함으로써, 각 변수의 코드길이 비용을 줄이고 효율적인 블록 코딩을 가능하게 한다.
• MNIST에서 DAD* 와 IKVAE 를 조합하면 이론적 최적 근처의 손실 없는 압축을 달성하며 실용적 효율성을 입증한다.
• 패드 급수 근사를 사용한 라마르트 W 함수의 사용은 가우시안 매개변수화에서 분산 계산의 수치적 안정성과 효율성을 보장한다.