[论文解读] DeepPermNet: Visual Permutation Learning

Rodrigo Santa Cruz, Basura Fernando+2 more|arXiv (Cornell University)|Apr 10, 2017

Digital Media Forensic Detection参考文献 40被引用 11

一句话总结

DeepPermNet 提出了一种用于视觉排列学习的新型深度学习框架，通过可微分的Sinkhorn迭代，利用双随机矩阵近似离散排列矩阵，从而实现端到端训练。该方法在相对属性学习和自监督表示学习任务上均达到当前最优性能，在Public Figures、OSR和PASCAL VOC基准上优于先前方法。

ABSTRACT

We present a principled approach to uncover the structure of visual data by solving a novel deep learning task coined visual permutation learning. The goal of this task is to find the permutation that recovers the structure of data from shuffled versions of it. In the case of natural images, this task boils down to recovering the original image from patches shuffled by an unknown permutation matrix. Unfortunately, permutation matrices are discrete, thereby posing difficulties for gradient-based methods. To this end, we resort to a continuous approximation of these matrices using doubly-stochastic matrices which we generate from standard CNN predictions using Sinkhorn iterations. Unrolling these iterations in a Sinkhorn network layer, we propose DeepPermNet, an end-to-end CNN model for this task. The utility of DeepPermNet is demonstrated on two challenging computer vision problems, namely, (i) relative attributes learning and (ii) self-supervised representation learning. Our results show state-of-the-art performance on the Public Figures and OSR benchmarks for (i) and on the classification and segmentation tasks on the PASCAL VOC dataset for (ii).

研究动机与目标

• 为解决从打乱的图像块中学习视觉结构的挑战，提出一种新的深度学习任务：视觉排列学习。
• 通过使用双随机矩阵对离散排列矩阵进行连续近似，克服其不可微性问题。
• 开发一种可端到端训练的CNN模型，能够从打乱的图像块中恢复原始图像结构。
• 在真实视觉任务（如相对属性学习和自监督表示学习）中展示该方法的实用性。

提出的方法

• 提出一项新任务：视觉排列学习，目标是从由未知排列打乱的图像块中恢复原始图像。
• 通过Sinkhorn迭代将排列矩阵的连续松弛建模为双随机矩阵。
• 将Sinkhorn迭代整合为神经网络中的可微分层，实现反向传播通过排列估计过程。
• 使用标准CNN预测初始矩阵，随后通过展开的Sinkhorn迭代对矩阵进行优化，生成可微分的双随机近似。
• 使用标准反向传播对整个网络进行端到端训练，实现特征提取与排列恢复的联合优化。
• 将学习到的排列模块应用于下游任务，如相对属性学习和自监督表示学习。

实验结果

研究问题

• RQ1 深度学习模型能否有效从打乱的图像块中恢复原始图像结构？
• RQ2 如何在深度学习中通过梯度优化有效近似离散排列矩阵？
• RQ3 所提出的可微分排列学习框架是否能提升相对属性学习与自监督表示学习的性能？
• RQ4 所学习的排列模块能否在PASCAL VOC和Public Figures等多样化视觉基准上实现良好泛化？

主要发现

• DeepPermNet 在Public Figures基准上实现了相对属性学习的SOTA性能。
• 在OSR基准上，其在相对属性学习任务中创下新的SOTA结果。
• 在PASCAL VOC数据集上，该模型在自监督表示学习设置下提升了分类与分割性能。
• 可微分Sinkhorn迭代的使用，使得尽管排列具有离散性，仍能实现有效的端到端训练。
• 该框架在多个视觉任务中表现出强大的泛化能力，表明视觉排列学习作为归纳偏置具有实际应用价值。