[논문 리뷰] IDF++: Analyzing and Improving Integer Discrete Flows for Lossless Compression

Rianne van den Berg, Alexey A. Gritsenko외 3명|arXiv (Cornell University)|2020. 06. 22.

Algorithms and Data Compression참고 문헌 52인용 수 38

한 줄 요약

본 연구는 무손실 압축을 위한 정수 이산 흐름(IDF)을 분석하고, 이산 흐름에 대한 주장된 한계를 반박하며, 그래디언트 바이어스를 조사하고, 더 적은 흐름 층으로 압축 성능을 높이는 아키텍처 개선(IDF++)을 제안한다.

ABSTRACT

In this paper we analyse and improve integer discrete flows for lossless compression. Integer discrete flows are a recently proposed class of models that learn invertible transformations for integer-valued random variables. Their discrete nature makes them particularly suitable for lossless compression with entropy coding schemes. We start by investigating a recent theoretical claim that states that invertible flows for discrete random variables are less flexible than their continuous counterparts. We demonstrate with a proof that this claim does not hold for integer discrete flows due to the embedding of data with finite support into the countably infinite integer lattice. Furthermore, we zoom in on the effect of gradient bias due to the straight-through estimator in integer discrete flows, and demonstrate that its influence is highly dependent on architecture choices and less prominent than previously thought. Finally, we show how different architecture modifications improve the performance of this model class for lossless compression, and that they also enable more efficient compression: a model with half the number of flow layers performs on par with or better than the original integer discrete flow model.

연구 동기 및 목표

• 정수 이산 흐름이 이산 데이터에 대해 얼마나 유연하고 임의 분포를 모델링할 수 있는지 평가한다.
• IDF 학습에 대한 직전 통과(straight-through) 그래디언트 바이어스의 영향과 추정기를 비교한다.
• IDF 성능과 압축 효율성을 개선하기 위한 아키텍처 수정안을 탐구한다.
• 표준 데이터세트에서 IDF++의 압축 성능을 벤치마크와 비교한다.

제안 방법

• 이산 흐름의 이론적 유연성에 대한 주장들을 검토하고, Zd로의 임베딩이 인자화 능력을 산출함을 입증한다.
• 직전 추정기(straight-through estimator)에 의한 그래디언트 바이어스를 CIFAR-10에서 unbiased 그래디언트와 비교 분석한다.
• IDF 성능 향상을 위해 결합 계층, DenseNet 블록, 정규화 등의 아키텍처 선택을 실험한다.
• IDF++ 변형 도입: 각 층 뒤에 채널 치환의 역전, Bijector를 위한 학습 가능한 스케일링(레제로), 그룹 정규화, Swish 활성화, DenseNet++ 블록.
• CIFAR-10, ImageNet-32, ImageNet-64에서 학습 및 평가; IDF 및 수작업으로 설계된 코덱 대비 비트-퍼-디멘션(bpd)으로 비교.
• 각 아키텍처 변화의 기여를 고립시키기 위한 제거 실험(ablation)들을 수행한다.

실험 결과

연구 질문

• RQ1 IDF가 임베딩으로 더 큰 클래스 공간에 매핑함으로써 모든 분포를 인자화할 수 있는가?
• RQ2 직전 추정기에 의한 그래디언트 바이어스가 학습 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 DenseNet++ 블록, 정규화, 층별 채널 순환의 역전 등의 아키텍처 변화가 무손실 압축 성능을 향상시키는가?
• RQ4 IDF++가 표준 압축 벤치마크에서 이전 방법(IDF, 수작업으로 설계된 코덱)과 어떻게 비교되는가?

주요 결과

Compression models	CIFAR-10 (bpd)	IMAGENET-32 (bpd)	IMAGENET-64 (bpd)
PNG (Boutell & Lane, 1997)	5.87*	6.39*	5.71*
JPEG-2000 (Rabbani, 2002)	5.20†	6.48†	5.10†
FLIF (Sneyers & Wuille, 2016)	4.19*	4.52*	4.19*
BIT-SWAP (Kingma et al., 2019)	3.82 (3.78)	4.50 (4.48)	-
HILLOC (Townsend et al., 2019a)	3.56 (3.55)	4.20 (4.18)	3.90 (3.89)
LBB (Ho et al., 2019b)	3.12 (3.12)	3.88 (3.87)	3.70 (3.70)
SREC (Cao et al., 2020)	-	-	4.29
IDF (Hoogeboom et al., 2019a)	3.32 (3.30)∗∗	4.18 (4.15)	3.90 (3.90)
IDF++, SMALL: 4 FLOWS PER LEVEL	3.31 (3.29)	4.16 (4.14)	3.85 (3.85)
IDF++	3.26 (3.24)	4.12 (4.10)	3.81 (3.81)

• Zd로 이산 데이터를 무한한 클래스로 임베딩하면 IDF가 분포를 인자화할 수 있어, 유연성에 대한 제한 주장을 반박한다.
• 직전 추정기에 의한 그래디언트 바이어스는 예전 생각만큼 치명적이지 않으며, 대체 추정기가 일관되게 더 나은 결과를 제공하지는 않는다.
• 아키텍처 선택이 IDF의 깊이/퇴화를 크게 좌우하며, DenseNet++ 및 다른 수정이 더 적은 흐름으로도 더 나은 성능을 낸다.
• 리스트 레벨당 4개 흐름으로 IDF++가 IDF 8개 흐름과 맞먹거나 우수한 성능을 보여 매개변수와 계산량을 약 절반으로 줄인다.
• CIFAR-10에서 같은 레벨의 흐름을 가진 IDF++가 8개 흐름의 IDF보다 비슷하거나 더 나은 bpd를 달성; ImageNet 변형에서도 IDF++가 벤치마크를 맞추거나 능가한다.
• Hand-designed 코덱 및 이전의 딥 밀도 추정기와 비교했을 때 IDF++는 경쟁력 있는 또는 우수한 압축 성능을 보이며, 표 1에 수치적 이득이 보고된다.