[论文解读] Geodesics of learned representations

Olivier J. Hénaff, Eero P. Simoncelli|arXiv (Cornell University)|Nov 19, 2015

Cell Image Analysis Techniques被引用 11

一句话总结

本文提出表征测地线——一种用于可视化和评估学习到的图像表征在平移、旋转和缩放等几何变换下线性化程度的方法。通过在表征空间中合成满足图像空间平滑性约束的最短路径，作者发现当前最先进网络在这些变换的线性化方面表现不佳，但提出了一种简单的网络结构修复方法，可有效实现参数化与自然图像序列的线性化。

ABSTRACT

We develop a new method for visualizing and refining the invariances of learned representations. Specifically, we test for a general form of invariance, linearization, in which the action of a transformation is confined to a low-dimensional subspace. Given two reference images (typically, differing by some transformation), we synthesize a sequence of images lying on a path between them that is of minimal length in the space of the representation (a "representational geodesic"). If the transformation relating the two reference images is linearized by the representation, this sequence should follow the gradual evolution of this transformation. We use this method to assess the invariance properties of a state-of-the-art image classification network and find that geodesics generated for image pairs differing by translation, rotation, and dilation do not evolve according to their associated transformations. Our method also suggests a remedy for these failures, and following this prescription, we show that the modified representation is able to linearize a variety of geometric image transformations.

研究动机与目标

• 开发一种诊断方法，用于评估学习到的表征是否能对保持身份的变换（如平移、旋转和缩放）实现线性化。
• 通过引入一种可同时揭示不足不变性的方法，解决基于合成的评估方法仅能检测过度不变性的问题。
• 通过可视化表征空间中的最短路径（测地线），实现与度量无关的表征几何评估。
• 识别深度网络中导致变换线性化失败的结构缺陷，并提出相应的修复方案。
• 实现分层的、由粗到精的测地线计算，以解决自然视频序列中的时间混叠问题。

提出的方法

• 将测地线定义为表征空间中长度最小的路径，通过在N张图像序列上的离散优化进行近似。
• 最小化联合目标函数：表征能量 E[f(γ)] = Σ||f(xₙ) − f(xₙ₋₁)||²₂，以确保表征等距分布，同时最小化图像空间路径长度以保证平滑性。
• 采用条件测地线优化：在保证表征空间路径长度最短的同时，约束图像空间路径的平滑性。
• 将该方法应用于表征对比：基于像素的（无不变性）、基于傅里叶幅值的（过度不变性）以及深度网络特征（线性化不足）。
• 通过在每一层施加测地线约束并以深层表征为条件，将框架推广至分层表征，实现由粗到精的优化。
• 利用测地线序列诊断并修正表征缺陷，特别是针对VGG网络中L2池化导致的问题，通过修改网络结构以改善线性化性能。

实验结果

研究问题

• RQ1 表征测地线能否揭示深度网络表征中的过度不变性和不足不变性？
• RQ2 当前最先进的图像分类网络能否对平移、旋转和缩放等基本几何变换实现线性化？
• RQ3 是否可通过网络结构修改诊断并纠正变换线性化失败的问题？
• RQ4 分层测地线计算能否解决自然视频序列中的时间混叠问题？
• RQ5 测地线序列在多大程度上可作为诊断工具，用于评估分层表征中变换的解缠程度？

主要发现

• 采用L2池化的VGG网络在平移、旋转和缩放变换下均无法实现线性化，因为变换图像之间的测地线偏离了真实变换路径。
• 基于像素的表征生成的测地线仅为线性插值，揭示了无不变性；而基于傅里叶幅值的表征测地线表现出不一致的相位演化，表明存在过度不变性。
• 经修改的网络结构——具体而言，在卷积层中将平均池化替换为L2池化——成功实现了对一系列参数化变换的线性化。
• 改进后的表征生成的测地线序列与自然视频序列（如电影《沉静之像》中的序列）的真实时间演化高度吻合。
• 周期性纹理（如编织藤条）中的时间混叠导致测地线序列出现反向偏移，这是运动估计中的已知局限，可通过分层测地线条件化得到缓解。
• 测地线序列使不同模型和网络阶段的不变性特性可直接比较，因为其对表征空间的可逆仿射变换保持不变。