[论文解读] Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations

Thomas Yerxa, Yilun Kuang+2 more|arXiv (Cornell University)|Mar 6, 2023

Neural dynamics and brain function被引用 5

一句话总结

本文提出最大流形容量表征（MMCR），一种新颖的自监督学习方法，通过最大化低维流形中可分离物体类别的数量来优化高编码效率。通过将计算密集型的流形容量度量重新表述为可微分的目标函数，MMCR在ImageNet-1K上实现了SOTA线性评估准确率（8个视图下top-1准确率为72.1%），并在目标检测任务中表现强劲（AP50 = 81.9），同时在建模猕猴腹侧流神经反应方面展现出生物学合理性。

ABSTRACT

The efficient coding hypothesis proposes that the response properties of sensory systems are adapted to the statistics of their inputs such that they capture maximal information about the environment, subject to biological constraints. While elegant, information theoretic properties are notoriously difficult to measure in practical settings or to employ as objective functions in optimization. This difficulty has necessitated that computational models designed to test the hypothesis employ several different information metrics ranging from approximations and lower bounds to proxy measures like reconstruction error. Recent theoretical advances have characterized a novel and ecologically relevant efficiency metric, the manifold capacity, which is the number of object categories that may be represented in a linearly separable fashion. However, calculating manifold capacity is a computationally intensive iterative procedure that until now has precluded its use as an objective. Here we outline the simplifying assumptions that allow manifold capacity to be optimized directly, yielding Maximum Manifold Capacity Representations (MMCR). The resulting method is closely related to and inspired by advances in the field of self supervised learning (SSL), and we demonstrate that MMCRs are competitive with state of the art results on standard SSL benchmarks. Empirical analyses reveal differences between MMCRs and representations learned by other SSL frameworks, and suggest a mechanism by which manifold compression gives rise to class separability. Finally we evaluate a set of SSL methods on a suite of neural predictivity benchmarks, and find MMCRs are higly competitive as models of the ventral stream.

研究动机与目标

• 开发一种可微分、适合优化的流形容量度量版本，用作自监督学习目标。
• 学习最大流形容量表征（MMCR），以紧凑方式表征同一物体的不同视图，同时分离不同物体类别。
• 在标准自监督学习基准（包括线性评估和目标检测）上评估MMCR的性能。
• 通过将MMCR的表征与猕猴腹侧流中的神经反应进行比较，评估其生物学合理性。
• 探究流形压缩如何在无监督表征中导致类别可分性的机制。

提出的方法

• 利用中心点矩阵的奇异值分解（SVD）将原本仅用于评估的流形容量度量重新表述为可微分的目标函数。
• 使用对比学习训练ResNet-50编码器，配备投影头，其中目标函数最大化线性可分物体类别的数量。
• 将同一图像的多个视图作为正样本对，使用动量编码器以稳定训练过程。
• 应用线性评估协议：在冻结的特征上训练线性分类器，以评估表征质量。
• 在VOC07+12上使用Faster R-CNN和C-4主干网络进行目标检测微调，以测试迁移能力。
• 将MMCR表征与猕猴视觉皮层的神经数据进行比较，以评估其生物学合理性。

实验结果

研究问题

• RQ1 重新表述后的流形容量度量能否作为自监督表征学习的有效、可微分目标？
• RQ2 MMCR在线性评估准确率和迁移性能方面与当前SOTA自监督方法相比如何？
• RQ3 流形压缩通过何种机制导致无监督表征中类别可分性的提升？
• RQ4 MMCR表征在多大程度上能预测猕猴腹侧流中的神经反应？
• RQ5 更长的预训练是否能提升MMCR性能？其性能随视图数量如何变化？

主要发现

• 在ImageNet-1K上，MMCR在8个视图下实现了72.1%的top-1线性评估准确率，与SimCLR和MoCo v2等SOTA方法相当或更优。
• 在2个视图上进行1000个周期的预训练时，MMCR实现了73.0%的top-1准确率，优于SimCLR（69.3%）和MoCo v2（71.1%）。
• 在VOC07+12目标检测基准上，MMCR实现了81.9的AP50，与MoCo v2（82.4）相当，也优于ReLICv2（77.1% mAP）等SOTA方法。
• 使用动量编码器带来了微小但一致的性能提升，尤其在视图较少时，表明正样本对的多样性得到改善。
• MMCR表征表现出强神经可预测性，在一系列猕猴腹侧流神经反应基准测试中表现优异。
• 谱分析显示，MMCR表征的特征值呈现幂律衰减，指数接近1，这一特征与泛化能力及生物学合理性相关。