[论文解读] Meta-Learning Update Rules for Unsupervised Representation Learning

Luke Metz, Niru Maheswaranathan+2 more|arXiv (Cornell University)|Mar 31, 2018

Domain Adaptation and Few-Shot Learning参考文献 64被引用 69

一句话总结

本论文元学习一种无监督、神经元局部的更新规则，该更新规则训练一个基础模型以产生对半监督分类有用的表征，并展示在架构、数据集和模态之间的强泛化能力。

ABSTRACT

A major goal of unsupervised learning is to discover data representations that are useful for subsequent tasks, without access to supervised labels during training. Typically, this involves minimizing a surrogate objective, such as the negative log likelihood of a generative model, with the hope that representations useful for subsequent tasks will arise as a side effect. In this work, we propose instead to directly target later desired tasks by meta-learning an unsupervised learning rule which leads to representations useful for those tasks. Specifically, we target semi-supervised classification performance, and we meta-learn an algorithm -- an unsupervised weight update rule -- that produces representations useful for this task. Additionally, we constrain our unsupervised update rule to a be a biologically-motivated, neuron-local function, which enables it to generalize to different neural network architectures, datasets, and data modalities. We show that the meta-learned update rule produces useful features and sometimes outperforms existing unsupervised learning techniques. We further show that the meta-learned unsupervised update rule generalizes to train networks with different widths, depths, and nonlinearities. It also generalizes to train on data with randomly permuted input dimensions and even generalizes from image datasets to a text task.

研究动机与目标

• 将无监督表征学习作为元学习的目标，以提升下游任务。
• 在训练期间直接优化用于半监督分类的表征且无需标签。
• 开发一个在神经元局部的无监督更新规则，能够在不同架构和数据域间泛化。
• 展示元学习得到的更新规则可以迁移到不同宽度、深度、非线性以及数据模态。

提出的方法

• 将一个 MLP 基础模型表述为分层的、神经元局部的更新网络，由元参数 θ 参数化。
• 定义一个无监督更新规则，使用每个神经元的隐藏状态和局部前/后突触活动进行更新。
• 通过时间反向传播对元目标进行回传，以通过截断的时序反向传播优化 θ。
• 元目标最小化保留标签的目标与从学习特征得到的线性回归预测之间的余弦距离。
• 在多样的数据集和基础模型架构上训练，以促进跨域和模态的泛化。
• 在元训练期间置换输入维度，以强制学习规则的置换不变性。

实验结果

研究问题

• RQ1 通过元学习得到的无监督更新规则能否产出对小样本分类有用的表征？
• RQ2 元学习得到的规则是否能泛化到不同的网络宽度、深度、激活函数和数据模态？
• RQ3 在多大程度上改变元训练数据和架构能促进跨领域泛化？
• RQ4 神经元局部的更新规则是否能够与生物学上可信的学习兼容，同时达到有竞争力的无监督表示质量？
• RQ5 在可迁移性方面，更新规则的元学习与传统手工设计的无监督目标相比如何？

主要发现

• 元学习得到的无监督更新规则产生的表征在保留任务上优于某些现有的无监督方法。
• 所学规则对具备未见宽度、深度和非线性的基础模型具有泛化性。
• 该规则可在数据模态间迁移，包括从图像数据集到文本任务，但成功程度不一。
• 在输入维度置换下性能保持稳健，显示出置换不变的学习行为。
• 使用多样的数据集和架构进行元训练可以提高跨域泛化。
• 可视化分析显示第一层滤波器在元训练过程中从粗糙/噪声演变为更结构化、符合数据集的特征。