[論文レビュー] IDF++: Analyzing and Improving Integer Discrete Flows for Lossless Compression

Rianne van den Berg, Alexey A. Gritsenko+3 more|arXiv (Cornell University)|Jun 22, 2020

Algorithms and Data Compression参考文献 52被引用数 38

ひとこと要約

本論文は損失レス圧縮のための整数離散フロー（IDF）を分析し、離散フローに関する主張された制限を覆し、勾配バイアスを検討し、より少ないフローレイヤーで圧縮性能を高める IDF++ という アーキテクチャ改良を提案する。

ABSTRACT

In this paper we analyse and improve integer discrete flows for lossless compression. Integer discrete flows are a recently proposed class of models that learn invertible transformations for integer-valued random variables. Their discrete nature makes them particularly suitable for lossless compression with entropy coding schemes. We start by investigating a recent theoretical claim that states that invertible flows for discrete random variables are less flexible than their continuous counterparts. We demonstrate with a proof that this claim does not hold for integer discrete flows due to the embedding of data with finite support into the countably infinite integer lattice. Furthermore, we zoom in on the effect of gradient bias due to the straight-through estimator in integer discrete flows, and demonstrate that its influence is highly dependent on architecture choices and less prominent than previously thought. Finally, we show how different architecture modifications improve the performance of this model class for lossless compression, and that they also enable more efficient compression: a model with half the number of flow layers performs on par with or better than the original integer discrete flow model.

研究の動機と目的

• 離散データに対する整数離散フローの柔軟性と、任意の分布をモデル化する能力を評価する。
• ストレートスルー勾配バイアスがIDFの訓練に与える影響を調査し、推定量を比較する。
• IDFの性能と圧縮効率を向上させるアーキテクチャ変更を探る。
• 標準データセット上で、ベースラインと比較したIDF++の圧縮性能を定量化する。

提案手法

• 離散フローの柔軟性に関する理論的主張を検討し、Zd への埋め込みが因子化能力をもたらすことを実証する。
• ストレートスルー推定器による勾配バイアスを分析し、CIFAR-10 での無偏勾配と比較する。
• IDFの性能向上を目指して、結合レイヤー、DenseNetブロック、正規化といったアーキテクチャ選択を実験する。
• IDF++ の改良を導入：各層の後にチャンネル置換を反転、ビジェクタの学習可能なスケーリング（rezero）、グループ正規化、Swish 活性化、DenseNet++ ブロック。
• CIFAR-10、ImageNet-32、ImageNet-64 で訓練・評価し、IDFと手設計コーデックとを bpd（bits-per-dimension）で比較する。
• 各アーキテクチャ変更の寄与を分離するアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 整数離散フロー（IDF）は、より大きなクラス空間への埋め込みを介してすべての分布を因子分解できるか？
• RQ2 ストレートスルー推定器からの勾配バイアスが、IDFの訓練効率と最終性能にどのように影響するか？
• RQ3 アーキテクチャ変更（DenseNet++ ブロック、正規化、層ごとにチャンネルの置換を反転するなど）は、IDFのlossless圧縮性能を向上させるか？
• RQ4 IDF++は従来の手法（IDF、手設計コーデックなど）と標準的な圧縮ベンチマークでどう比較されるか？

主な発見

Compression models	CIFAR-10（bpd）	IMAGENET-32（bpd）	IMAGENET-64（bpd）
PNG (Boutell & Lane, 1997)	5.87*	6.39*	5.71*
JPEG-2000 (Rabbani, 2002)	5.20†	6.48†	5.10†
FLIF (Sneyers & Wuille, 2016)	4.19*	4.52*	4.19*
BIT-SWAP (Kingma et al., 2019)	3.82 (3.78)	4.50 (4.48)	-
HILLOC (Townsend et al., 2019a)	3.56 (3.55)	4.20 (4.18)	3.90 (3.89)
LBB (Ho et al., 2019b)	3.12 (3.12)	3.88 (3.87)	3.70 (3.70)
SREC (Cao et al., 2020)	-	-	4.29
IDF (Hoogeboom et al., 2019a)	3.32 (3.30)∗∗	4.18 (4.15)	3.90 (3.90)
IDF++, SMALL: 4 FLOWS PER LEVEL	3.31 (3.29)	4.16 (4.14)	3.85 (3.85)
IDF++	3.26 (3.24)	4.12 (4.10)	3.81 (3.81)

• 離散データを Zd に無限クラスで埋め込むことにより、IDFは分布を因子分解でき、柔軟性の制限との主張に対抗できる。
• ストレートスルー勾配バイアスは、以前考えられていたよりも有害でない。別の推定量は一貫して結果を改善しない。
• アーキテクチャの選択はIDFの深さ・劣化に大きく影響する。DenseNet++などの改良は、フロー数を抑えても性能を向上させる。
• IDF++ はレベルあたり4フローで、レベルあたり8フローのIDFと同等以上で、パラメータと計算を約半分に削减。
• CIFAR-10 では、IDF++ がレベルあたり4フローで IDF のレベルあたり8フローと同等または上回る bpd を達成；ImageNet 変種では、IDF++ がベースラインに匹敵するか上回る。
• 手設計コーデックや従来の深い密度推定器と比較して、IDF++は競争力のある、または優れた圧縮性能を示し、定量的な利得は表1に報告されている。