[论文解读] On the Out-of-distribution Generalization of Probabilistic Image Modelling

Ming‐Tian Zhang, Andi Zhang+1 more|arXiv (Cornell University)|Sep 4, 2021

Advanced Data Compression Techniques被引用 9

一句话总结

本文提出一种局部自回归模型，通过仅关注局部图像特征，提升了概率图像建模中的分布外（OOD）泛化能力。通过建模局部依赖关系，该方法在无监督OOD检测任务中达到最先进性能，并实现了一种新型无损图像压缩器NeLLoC，其在高效并行解压缩下实现了顶尖的压缩率。

ABSTRACT

Out-of-distribution (OOD) detection and lossless compression constitute two problems that can be solved by the training of probabilistic models on a first dataset with subsequent likelihood evaluation on a second dataset, where data distributions differ. By defining the generalization of probabilistic models in terms of likelihood we show that, in the case of image models, the OOD generalization ability is dominated by local features. This motivates our proposal of a Local Autoregressive model that exclusively models local image features towards improving OOD performance. We apply the proposed model to OOD detection tasks and achieve state-of-the-art unsupervised OOD detection performance without the introduction of additional data. Additionally, we employ our model to build a new lossless image compressor: NeLLoC (Neural Local Lossless Compressor) and report state-of-the-art compression rates and model size.

研究动机与目标

• 探究在基于似然的概率图像模型中，主导分布外（OOD）泛化能力的关键因素，特别是在基于似然的应用中。
• 解决当前对深度生成模型为何在仅用分布内数据训练的情况下仍能对OOD数据分配高似然值的理解不足问题。
• 通过建模局部特征提升模型泛化能力，从而在不依赖额外数据的情况下改善OOD检测性能。
• 设计一种新型无损图像压缩器NeLLoC，利用局部自回归建模实现高效率压缩与并行解压缩。
• 通过基于似然的泛化共享原则，建立OOD检测与无损压缩之间的联系。

提出的方法

• 提出一种局部自回归模型，将每个像素的分布条件依赖于局部感受野，而非整幅图像，从而减少对全局上下文的依赖。
• 采用局部自回归结构，其中每个像素基于一个小型固定尺寸邻域进行预测，支持通过分块处理实现并行解压缩。
• 使用可学习的局部上下文编码器从局部区域提取特征，再通过归一化流或类似密度模型预测像素分布。
• 将模型应用于两项任务：基于似然阈值的无监督OOD检测，以及基于估计似然的算术编码无损图像压缩。
• 提出NeLLoC（神经局部无损压缩器），一种基于局部自回归模型构建的无损图像压缩器，以模型大小与压缩率作为关键设计指标。
• 通过将图像分割为非重叠分块，独立处理每个分块，实现并行解压缩，实现高达400倍的速度提升，且速率损失极小。

实验结果

研究问题

• RQ1 在概率图像模型中，哪些特征主要驱动其分布外泛化能力？
• RQ2 为何深度生成模型在仅用分布内数据训练的情况下，仍会对OOD数据分配高似然值？
• RQ3 仅建模局部图像特征是否能提升基于似然任务中的OOD泛化能力？
• RQ4 局部自回归模型是否能在不使用额外数据的情况下实现无监督OOD检测的最先进性能？
• RQ5 此类模型是否可用于构建高效、可并行处理的无损图像压缩器，实现具有竞争力的压缩率与小型模型尺寸？

主要发现

• 在概率图像模型中，局部特征主导OOD泛化能力，而全局上下文与语义特征对OOD数据的预测能力较弱。
• 所提出的局部自回归模型在CIFAR10与ImageNet32上实现了无监督OOD检测的最先进性能，且未使用额外数据。
• NeLLoC实现了最先进压缩率：在ImageNet64上达到3.24 BPD，在ImageNet上达到3.25 BPD，模型大小仅为2.75 MB。
• 将图像分割为400个分块进行解压缩，BPD仅增加0.11（从3.25增至3.34），实现高达400倍速度提升，且速率退化可忽略。
• 当在CIFAR10上训练并在OOD数据（ImageNet64）上测试时，模型实现3.25 BPD，表明其具备强大的OOD泛化能力。
• 当在CIFAR10上训练并在SVHN（OOD）上测试时，NeLLoC实现2.13 BPD，优于先前方法（HiLLoC为2.29 BPD，L3C为3.17 BPD），证实其OOD泛化能力显著提升。