[论文解读] Are Deep Neural Architectures Losing Information? Invertibility Is Indispensable

Yang Liu, Zhenyue Qin+3 more|arXiv (Cornell University)|Sep 7, 2020

Image and Signal Denoising Methods参考文献 30被引用 4

一句话总结

本文研究了深度神经网络架构中的信息丢失问题，主张可逆性在特征变换过程中保持信息完整性至关重要。作者提出一种新颖的架构，通过可学习的、可微分的逆映射确保可逆性，在图像去噪和图像修复任务中实现了最先进性能，且参数量显著少于U-Net等竞争模型。

ABSTRACT

Ever since the advent of AlexNet, designing novel deep neural architectures for different tasks has consistently been a productive research direction. Despite the exceptional performance of various architectures in practice, we study a theoretical question: what is the condition for deep neural architectures to preserve all the information of the input data? Identifying the information lossless condition for deep neural architectures is important, because tasks such as image restoration require keep the detailed information of the input data as much as possible. Using the definition of mutual information, we show that: a deep neural architecture can preserve maximum details about the given data if and only if the architecture is invertible. We verify the advantages of our Invertible Restoring Autoencoder (IRAE) network by comparing it with competitive models on three perturbed image restoration tasks: image denoising, jpeg image decompression and image inpainting. Experimental results show that IRAE consistently outperforms non-invertible ones. Our model even contains far fewer parameters. Thus, it may be worthwhile to try replacing standard components of deep neural architectures, such as residual blocks and ReLU, with their invertible counterparts. We believe our work provides a unique perspective and direction for future deep learning research.

研究动机与目标

• 探究深度神经网络在特征变换过程中是否会出现不可逆的信息丢失。
• 评估非可逆架构对图像恢复性能的影响，特别是在去噪和图像修复任务中的表现。
• 证明可逆性能够以更少参数实现更高效、更有效的学习。
• 为在深度学习模型中引入可逆组件提供理论和实证依据。
• 通过确保网络能够从其内部表征重建输入，提升低层次视觉任务的性能。

提出的方法

• 提出一种具有可学习、可微分逆映射的深度神经架构，以确保可逆性。
• 在训练过程中采用L1损失作为目标函数，该损失在低层次图像恢复任务中广泛应用。
• 设计一种参数量更少的网络（1.33×10⁶），相比U-Net（7.70×10⁶）显著减少，同时保持高性能。
• 使用PSNR和SSIM作为主要评估指标，以衡量在不同噪声和压缩水平下的恢复质量。
• 引入使用边界框（如橙色框）检测视觉伪影的方法，以突出基线模型（如DnCNN）中的重建误差。
• 根据审稿人反馈，对模型架构和图注进行修订，以提升结果的清晰度与完整性。

实验结果

研究问题

• RQ1 非可逆深度神经网络在特征编码过程中在多大程度上丢失信息？
• RQ2 在神经网络架构中强制实现可逆性是否能提升图像恢复任务的性能？
• RQ3 与非可逆模型（如U-Net）相比，所提出的可逆架构在参数效率和性能方面表现如何？
• RQ4 在不同噪声和压缩水平下，可逆性对重建质量有何影响？
• RQ5 可逆网络是否能以远少于标准架构的参数量实现具有竞争力的性能？

主要发现

• 所提出的可逆架构在所有测试压缩质量因子下，均实现了图像去噪任务中的最高PSNR值。
• 在压缩因子为10时，该模型的SSIM值几乎与U-Net相当，但PSNR更高，表明其去噪性能更优。
• 该模型仅使用1.33×10⁶个参数，远少于U-Net的7.70×10⁶个参数，展现出极高的参数效率。
• 视觉分析显示，DnCNN会产生明显的伪影（如色块），这些伪影在修订后的图中已用橙色边界框明确标出。
• 作者确认L1损失仅用于训练目标，不用于评估——评估使用PSNR和SSIM等标准指标。
• 最终版本将包含与更多模型（[35]、[33]、[18]）的比较，以及对表2结果的扩展讨论，以回应审稿人意见。