[论文解读] Manifold Modeling in Embedded Space: A Perspective for Interpreting Deep Image Prior

Tatsuya Yokota, Hidekata Hontani+2 more|arXiv (Cornell University)|Aug 8, 2019

Advanced Image Processing Techniques参考文献 51被引用 10

一句话总结

本文提出了嵌入空间中的流形建模（MMES），这是一种简化的深度学习框架，将卷积神经网络分解为延迟嵌入和非线性变换，以在图像数据中建模低维图像块流形。通过将多路延迟嵌入（Hankel化）与去噪自编码器相结合，MMES在图像修复任务中实现了与深度图像先验（DIP）相当的性能，为DIP提供了一种新的解释：即其本质是低维图像块流形先验。

ABSTRACT

Deep image prior (DIP), which utilizes a deep convolutional network (ConvNet) structure itself as an image prior, has attracted attentions in computer vision and machine learning communities. It empirically shows the effectiveness of ConvNet structure for various image restoration applications. However, why the DIP works so well is still unknown, and why convolution operation is useful for image reconstruction or enhancement is not very clear. In this study, we tackle these questions. The proposed approach is dividing the convolution into ``delay-embedding'' and ``transformation (\ie encoder-decoder)'', and proposing a simple, but essential, image/tensor modeling method which is closely related to dynamical systems and self-similarity. The proposed method named as manifold modeling in embedded space (MMES) is implemented by using a novel denoising-auto-encoder in combination with multi-way delay-embedding transform. In spite of its simplicity, the image/tensor completion, super-resolution, deconvolution, and denoising results of MMES are quite similar even competitive to DIP in our extensive experiments, and these results would help us for reinterpreting/characterizing the DIP from a perspective of ``low-dimensional patch-manifold prior''.

研究动机与目标

• 解释为何卷积神经网络（CNNs）在深度图像先验（DIP）中作为有效的图像先验，尽管其缺乏显式的先验设计。
• 将卷积操作分解为两个部分：延迟嵌入（Hankel化）和非线性变换（编码器-解码器），以隔离DIP的核心机制。
• 提出一种最小但有效的模型MMES，通过流形学习和自编码技术捕捉DIP的本质归纳偏置。
• 证明DIP的成功源于其隐式建模图像块低维流形的能力，而非深层网络的全部复杂性。
• 通过基于流形的图像重建，建立动力系统、张量建模与深度学习之间的理论与实证联系。

提出的方法

• MMES将二维卷积分解为三个阶段：通过多路Hankel化实现前向延迟嵌入，通过多层感知机（MLP）进行非线性编码，以及通过另一MLP进行非线性解码。
• 该方法采用去噪自编码器架构，其中瓶颈层表示图像块的低维流形，从而实现鲁棒的重建。
• 延迟嵌入通过分块Hankel化实现，将局部图像块转换为结构化矩阵，以保留平移不变特征和自相似性。
• 模型通过端到端训练，最小化输入与输出之间的重建损失（平方误差），使编码器-解码器学习将噪声或不完整的块映射到干净的低维流形。
• 瓶颈层的隐藏表示被约束为低于输入块空间的维度（r < τ²），以强制实现流形学习。
• 该框架应用于图像修复任务，包括图像修复、超分辨率、反卷积和去噪，仅依赖自编码器结构和嵌入变换。

实验结果

研究问题

• RQ1 为何深度图像先验（DIP）在未配对、随机初始化的网络上训练时仍能表现出如此出色的泛化能力？
• RQ2 除了其表征能力外，卷积神经网络作为图像先验的有效性背后的潜在归纳偏置是什么？
• RQ3 DIP的成功是否可归因于对图像块低维流形的建模？如果是，如何形式化这一机制？
• RQ4 延迟嵌入与自编码的结合如何在图像修复中复现完整卷积神经网络的归纳偏置？
• RQ5 像MMES这样的极简模型在无需大规模训练或深层架构的情况下，能在多大程度上复现DIP的性能？

主要发现

• MMES在多种任务（包括图像修复、超分辨率、反卷积和去噪）中，实现了与完整深度图像先验（DIP）相当的定性与定量图像修复性能。
• 所提出的方法通过多路延迟嵌入（Hankel化）成功建模了图像块的自相似性与平移不变性，捕捉了关键的结构先验。
• MMES的去噪自编码器组件隐式学习了干净图像块的低维流形，解释了DIP中观察到的“噪声抗性”现象。
• 实验结果证实，MMES对噪声和不完整数据具有鲁棒性，表明模型学习的是从底层流形重建，而非记忆输入模式。
• 该框架为DIP提供了一种新的解释：即其本质是低维图像块流形先验，为完整DIP架构提供了一种更简单、更具可解释性的替代方案。
• 该方法在概念与技术上建立了动力系统（通过延迟嵌入）、张量建模与深度学习之间的桥梁，表明其在图像修复之外也具有更广泛的应用潜力。