[论文解读] Greedy InfoMax for Biologically Plausible Self-Supervised Representation Learning.

Sindy Löwe, Peter O’Connor+1 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 26被引用 5

一句话总结

该论文提出 Greedy InfoMax，一种生物上合理的自监督表征学习方法，通过无反向传播的贪婪、梯度隔离方式训练深层神经网络模块。通过使用 InfoNCE 损失最大化输入与输出表征之间的互信息，该方法在音频和视觉任务中实现了强大的下游性能，同时支持非常深网络的异步、分布式训练。

ABSTRACT

We propose a novel deep learning method for local self-supervised representation learning that does not require labels nor end-to-end backpropagation but exploits the natural order in data instead. Inspired by the observation that biological neural networks appear to learn without backpropagating a global error signal, we split a deep neural network into a stack of gradient-isolated modules. Each module is trained to maximally preserve the information of its inputs using the InfoNCE bound from Oord et al. [2018]. Despite this greedy training, we demonstrate that each module improves upon the output of its predecessor, and that the representations created by the top module yield highly competitive results on downstream classification tasks in the audio and visual domain. The proposal enables optimizing modules asynchronously, allowing large-scale distributed training of very deep neural networks on unlabelled datasets.

研究动机与目标

• 开发一种避免端到端反向传播的自监督表征学习方法，以契合神经计算中的生物合理性。
• 解决在无全局误差信号的情况下训练深层网络的挑战，受生物神经网络可能学习方式的启发。
• 通过在模块间隔离梯度，实现非常深网络的可扩展、分布式训练。
• 通过局部、模块化优化，在无标签数据上实现高下游分类性能。

提出的方法

• 网络被结构化为一系列梯度隔离的模块，每个模块独立训练以保留其输入的信息。
• 每个模块通过最大化输入与输出表征之间互信息的 InfoNCE 下界来实现。
• 训练采用贪婪方式，每个模块基于前序模块的输出进行优化，而不向后反向传播通过早期层。
• 该方法利用数据中的自然顺序，为每个模块内的对比学习定义正样本对与负样本对。
• 模块可异步训练，支持在无标签数据集上进行大规模分布式训练。
• 顶层模块的表征用于下游分类，无需微调。

实验结果

研究问题

• RQ1 能否在不使用端到端反向传播的情况下实现自监督表征学习，同时保持高性能？
• RQ2 堆叠模块的贪婪、局部训练是否能产生与反向传播模型相媲美的表征？
• RQ3 在模块间隔离梯度是否能实现深层网络的可扩展、分布式训练？
• RQ4 能否有效利用数据中的自然顺序，在深层架构中实现局部对比学习？
• RQ5 贪婪、生物启发式模块生成的表征在下游分类任务中的泛化能力如何？

主要发现

• Greedy InfoMax 在无标签数据上实现了与有标签数据相当的下游分类准确率，且无需使用标签或反向传播。
• 每个模块均在前序模块的表征基础上进行改进，表明通过堆叠实现了渐进式特征学习。
• 由于模块间梯度隔离，该方法支持非常深网络的异步、分布式训练。
• 顶层模块的表征在下游任务中表现强劲，表明实现了有效的层次化特征学习。
• 该方法具有生物合理性，因为它避免了全局误差反向传播，转而采用局部、最大化信息的更新机制。
• 该模型在无标签数据上表现良好，表明通过局部训练实现互信息最大化可生成强大的表征。