[论文解读] Convolutional Networks in Visual Environments

Alessandro Betti, Marco Gori|arXiv (Cornell University)|Jan 16, 2018

Advanced Vision and Imaging参考文献 17被引用 5

一句话总结

本文提出了一种基于最小认知作用原理的新型无监督学习框架，适用于视觉环境中的卷积网络，通过推导强制运动不变性的微分方程，从未标注的视频流中学习滤波器。该理论实现了通过视频处理端到端的特征发现，数学推导表明，对视频片段进行模糊处理可最小化认知作用，从而产生稳定且运动不变的滤波器。

ABSTRACT

The puzzle of computer vision might find new challenging solutions when we realize that most successful methods are working at image level, which is remarkably more difficult than processing directly visual streams. In this paper, we claim that their processing naturally leads to formulate the motion invariance principle, which enables the construction of a new theory of learning with convolutional networks. The theory addresses a number of intriguing questions that arise in natural vision, and offers a well-posed computational scheme for the discovery of convolutional filters over the retina. They are driven by differential equations derived from the principle of least cognitive action. Unlike traditional convolutional networks, which need massive supervision, the proposed theory offers a truly new scenario in which feature learning takes place by unsupervised processing of video signals. It is pointed out that an opportune blurring of the video, along the interleaving of segments of null signal, make it possible to conceive a novel learning mechanism that yields the minimum of the cognitive action. Basically, while the theory enables the implementation of novel computer vision systems, it is also provides an intriguing explanation of the solution that evolution has discovered for humans, where it looks like that the video blurring in newborns and the day-night rhythm seem to emerge in a general computational framework, regardless of biology.

研究动机与目标

• 为解决计算机视觉中监督深度学习的根本局限性——即需要大量标注数据——提出一种受生物启发的无监督替代方案。
• 构建一个以运动不变性为基础的视觉学习计算理论，论证运动是自然视觉中视觉不变性的主要驱动力。
• 推导出一个基于最小认知作用的变分原理，能够直接从原始视频生成卷积滤波器，而无需像素级标注。
• 将视觉特征的学习与视觉运动的动力学统一起来，表明光流一致性自然导致稳定且不变的表征。
• 提供一个理论与计算框架，解释人工与生物视觉学习，包括新生儿视觉模糊和昼夜节律等发育现象。

提出的方法

• 基于最小认知作用原理，推导出一个拉格朗日作用泛函，将视觉特征学习建模为时间上的变分问题。
• 从作用泛函的欧拉-拉格朗日方程中推导出微分方程组（公式44），描述在运动约束下特征滤波器的演化过程。
• 通过亮度不变性进行光流估计，以在视频帧之间保持运动一致性，将运动与特征稳定性联系起来。
• 在视频的零信号区间沿时间轴应用模糊机制，以最小化认知作用，从而实现在无监督条件下的稳定滤波器学习。
• 引入随时间变化的系数（A(t), B(t), C(t), D(t)），源自作用泛函（公式45a–45e），用于建模动态滤波器适应。
• 提出一种混合系统，结合运动不变滤波器与非运动不变特征，用于高层次视觉任务，采用复合作用泛函。

实验结果

研究问题

• RQ1 为何人类能从少量样本中学习视觉概念，而深度网络却需要大量监督？
• RQ2 运动不变性能否作为人工系统中无监督视觉特征学习的基础性原则？
• RQ3 基于最小认知作用的原理化变分框架，如何能从原始视频中生成稳定且不变的卷积滤波器？
• RQ4 视频模糊与时间分段在最小化认知成本及促进特征发现中起到何种作用？
• RQ5 所提出的理论能否解释生物视觉发育现象，如新生儿视觉模糊与昼夜节律？

主要发现

• 该理论表明，运动不变性涵盖了平移、旋转与尺度不变性，是视觉感知中的根本性不变性。
• 推导出的欧拉-拉格朗日方程（公式44）为在运动下保持稳定的卷积滤波器学习提供了动力系统，确保特征的一致性。
• 在零信号区间对视频片段进行模糊处理可最小化认知作用，从而为特征滤波器提供稳定且最优的学习轨迹。
• 该框架能够从未标注的视频中直接实现卷积滤波器的无监督发现，无需像素级标注或预定义数据集。
• 模型的边界条件（公式44）表明，当时间T时输入为零，解仅依赖于导数，意味着对瞬态输入具有鲁棒性。
• 该理论为人工与生物视觉系统提供了统一的计算解释，将发育性视觉现象与单一变分原理联系起来。