[论文解读] Few-shot Autoregressive Density Estimation: Towards Learning to Learn Distributions

Scott Reed, Yutian Chen+6 more|arXiv (Cornell University)|Oct 27, 2017

Domain Adaptation and Few-Shot Learning参考文献 15被引用 40

一句话总结

本文提出 Attention PixelCNN 和 Meta PixelCNN，通过将神经注意力机制与元学习结合到自回归模型中，实现少样本密度估计。通过在生成过程中关注支持图像，模型能够仅从少数样本中推断出视觉概念，在 Omniglot 数据集上实现最先进（SOTA）的似然性能，并在无显式监督下生成高质量自然图像样本。

ABSTRACT

Deep autoregressive models have shown state-of-the-art performance in density estimation for natural images on large-scale datasets such as ImageNet. However, such models require many thousands of gradient-based weight updates and unique image examples for training. Ideally, the models would rapidly learn visual concepts from only a handful of examples, similar to the manner in which humans learns across many vision tasks. In this paper, we show how 1) neural attention and 2) meta learning techniques can be used in combination with autoregressive models to enable effective few-shot density estimation. Our proposed modifications to PixelCNN result in state-of-the art few-shot density estimation on the Omniglot dataset. Furthermore, we visualize the learned attention policy and find that it learns intuitive algorithms for simple tasks such as image mirroring on ImageNet and handwriting on Omniglot without supervision. Finally, we extend the model to natural images and demonstrate few-shot image generation on the Stanford Online Products dataset.

研究动机与目标

• 解决少样本密度估计的挑战，即模型必须仅从极少数训练样本中学习概率分布。
• 克服标准深度神经网络在小数据集上容易记忆而非泛化的问题。
• 探索是否可将元学习与注意力机制结合到自回归模型中，以学习有效且可泛化的分布先验。
• 构建一种模型能够学习分布的框架，模仿人类在少样本下获取视觉概念的能力。
• 在合成数据集（Omniglot）和真实世界图像数据集（Stanford Online Products）上验证该方法的有效性。

提出的方法

• 通过可学习的注意力机制，将 PixelCNN 改造成可基于一小组支持图像进行条件生成，该机制能关注支持集中相关区域。
• 通过基于梯度的元学习更新：模型参数通过支持集对数似然的元梯度步长进行更新。
• 采用多尺度架构，包含多个分辨率流（8×8、16×16、32×32），以在 Stanford Online Products 数据集中建模不同尺度的图像细节。
• 使用自回归似然最大化进行训练，其中每个像素的预测均基于先前像素以及通过注意力或元更新获得的支持集信息。
• 在混合模型（Attention Meta PixelCNN）中同时应用基于注意力的条件生成和基于梯度的元更新，尽管其性能低于独立的注意力模型。
• 可视化注意力权重，以解释模型如何学习直观的生成策略，如镜像操作或复制手写风格。

实验结果

研究问题

• RQ1 自回归模型中的注意力机制是否可通过关注少量支持图像中的相关特征，实现有效的少样本密度估计？
• RQ2 基于梯度的元学习是否可有效应用于自回归密度模型，以实现从少量样本中的快速适应？
• RQ3 将注意力机制与元学习结合，是否能相比单独使用任一方法，在少样本密度估计中带来性能提升？
• RQ4 这些模型在具有高视觉变化和复杂背景的真实世界自然图像数据集上泛化能力如何？
• RQ5 注意力权重在多大程度上反映了人类直观的图像生成策略（如镜像或复制手写）？

主要发现

• Attention PixelCNN 在 Omniglot 数据集上实现了最先进（SOTA）的似然性能，使用四个支持样本时测试 NLL 为 0.066 nats/pixel。
• 模型在生成过程中能有效关注支持图像的相关区域，注意力热力图与显著特征对齐，证明了这一点。
• 在 Stanford Online Products 数据集上，注意力模型生成的样本在纹理和颜色一致性方面优于基线模型，尽管似然分数相近。
• Stanford Online Products 数据集上的似然分数为：基线 PixelCNN 为 2.15 nats/dim，Attention PixelCNN 为 2.14 nats/dim，表明定量增益微小但定性提升显著。
• Meta PixelCNN 同样在 Omniglot 上实现了最先进（SOTA）的似然性能（0.068 nats/pixel），表明基于梯度的元学习在密度估计中是有效的。
• 视觉分析显示，注意力机制能无显式监督地学习到直观的策略，如图像镜像和手写模式复制。