[论文解读] Deep Manifold Traversal: Changing Labels with Convolutional Features

Jacob R. Gardner, Paul Upchurch+5 more|arXiv (Cornell University)|Nov 19, 2015

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 63

一句话总结

本文提出 Deep Manifold Traversal，一种通用方法，通过利用深度卷积特征和核最大均值差异（MMD）引导路径，遍历自然图像的流形，实现语义上改变图像标签。该方法支持多种无需人工标注或任务特定设计的数据驱动、无监督图像转换任务，如人脸老化、季节变换或昼夜场景转换。

ABSTRACT

Many tasks in computer vision can be cast as a "label changing" problem, where the goal is to make a semantic change to the appearance of an image or some subject in an image in order to alter the class membership. Although successful task-specific methods have been developed for some label changing applications, to date no general purpose method exists. Motivated by this we propose deep manifold traversal, a method that addresses the problem in its most general form: it first approximates the manifold of natural images then morphs a test image along a traversal path away from a source class and towards a target class while staying near the manifold throughout. The resulting algorithm is surprisingly effective and versatile. It is completely data driven, requiring only an example set of images from the desired source and target domains. We demonstrate deep manifold traversal on highly diverse label changing tasks: changing an individual's appearance (age and hair color), changing the season of an outdoor image, and transforming a city skyline towards nighttime.

研究动机与目标

• 解决计算机视觉中缺乏不依赖任务特定先验或标注的通用图像标签更改方法的问题。
• 通过将遍历路径限制在自然图像的低维流形内，实现有意义且语义一致的图像转换。
• 开发一种可扩展的数据驱动方法，仅需标注的源图像和目标图像集合，即可应用于多样化场景。
• 展示该方法在高度不同的任务（如人脸老化、季节变化、城市场景转换）中的广泛适用性。
• 探索该方法作为计算机视觉中数据增强和主动学习的基线或预处理工具的潜力。

提出的方法

• 该方法首先使用预训练的卷积神经网络（如 VGG）将源图像、目标图像和测试图像映射到深度特征空间。
• 利用核最大均值差异（MMD）估计深度特征空间中源图像和目标图像特征之间的分布差异。
• 在特征空间中计算一条遍历路径，使测试图像的特征远离源分布并趋向目标分布，同时保持接近流形。
• 该路径在特征空间中为线性，且通过 MMD 引导约束在流形附近，确保中间图像的真实性。
• 通过从深度特征反向重建图像，将路径上的每个点映射回像素空间。
• 该方法在空间和时间上均为线性，可高效处理大尺寸图像（如 900×600 像素），仅受内存限制。

实验结果

研究问题

• RQ1 是否可仅用一种通用方法在无任务特定先验或标注的情况下，完成计算机视觉中多样化的标签更改任务？
• RQ2 深度特征空间是否足够线性化自然图像的流形，以支持语义标签更改的有意义图像遍历？
• RQ3 MMD 引导的遍历在改变语义类别归属的同时，多大程度上保持了图像的真实性？
• RQ4 该方法在高分辨率图像和复杂视觉转换任务中可扩展到何种程度？
• RQ5 该方法是否可作为监督视觉任务中数据增强的可行基线或预处理工具？

主要发现

• 该方法在多种领域成功执行了标签更改任务，包括人脸老化、户外场景的季节变化以及城市景观的昼夜转换。
• 对于 900×600 像素的图像，流形遍历耗时 132 分钟，重建耗时 43 分钟，表明其可扩展性已超越典型生成模型的限制。
• 该方法在无需对应关系、笔画或人工标注引导的情况下实现真实感结果，仅依赖于标注的源图像和目标图像集合。
• 在 LFW 数据集（250×250）上，使用 2000 张源图像和 2000 张目标图像，遍历耗时 18 分钟，表明其时间复杂度与图像尺寸呈线性关系。
• 在夜间变换中，天空保持蓝色，表明背景元素（如天空）在高层特征中未被充分表征，可能由于对象识别训练目标所致。
• 该方法在多个标签更改任务上优于通用图像形变基线，表明其具备强大的泛化能力和有效性。