[论文解读] Layer-Specific Lipschitz Modulation for Fault-Tolerant Multimodal Representation Learning

Diyar Altinses, Andreas Schwung|arXiv (Cornell University)|Mar 26, 2026

Anomaly Detection Techniques and Applications被引用 0

一句话总结

本文提出一个理论引导的两阶段自监督框架，用于容错的多模态表示学习，使用分层特定的 Lipschitz 调制以在传感器故障下提升异常检测与修正。

ABSTRACT

Modern multimodal systems deployed in industrial and safety-critical environments must remain reliable under partial sensor failures, signal degradation, or cross-modal inconsistencies. This work introduces a mathematically grounded framework for fault-tolerant multimodal representation learning that unifies self-supervised anomaly detection and error correction within a single architecture. Building upon a theoretical analysis of perturbation propagation, we derive Lipschitz- and Jacobian-based criteria that determine whether a neural operator amplifies or attenuates localized faults. Guided by this theory, we propose a two-stage self-supervised training scheme: pre-training a multimodal convolutional autoencoder on clean data to preserve localized anomaly signals in the latent space, and expanding it with a learnable compute block composed of dense layers for correction and contrastive objectives for anomaly identification. Furthermore, we introduce layer-specific Lipschitz modulation and gradient clipping as principled mechanisms to control sensitivity across detection and correction modules. Experimental results on multimodal fault datasets demonstrate that the proposed approach improves both anomaly detection accuracy and reconstruction under sensor corruption. Overall, this framework bridges the gap between analytical robustness guarantees and practical fault-tolerant multimodal learning.

研究动机与目标

• 提供多模态模型中密集层和卷积层扰动传播的理论分析。
• 开发双正则化、两阶段自监督训练方案，以增强异常检测同时稳定故障修正。
• 引入分层特定的 Lipschitz 调制和梯度裁剪，控制检测与修正模块的灵敏度。
• 在多模态工业数据集上验证该方法，以展示在传感器损坏下对异常识别与重建的改进。

提出的方法

• 推导基于 Lipschitz 与雅可比的标准，以确定神经算子在何时放大或衰减局部故障。
• 提出两阶段训练：在干净数据上预训练多模态卷积自编码器，以在潜在空间保留异常信号，然后加入一个可学习的计算区块用于修正和对比异常识别。
• 引入分层特定的 Lipschitz 调制和梯度裁剪，作为控制检测路径与修正路径敏感性的原理性机制。
• 提出双正则化策略，在提高异常检测敏感性的同时降低故障修正的敏感性。
• 给出一个基于多模态对齐的修正框架，配备编码器–解码器结构和融合算子以检测潜在不一致并修正故障。

实验结果

研究问题

• RQ1 在多模态结构中，乘性与加性扰动如何通过密集层与卷积层传播？
• RQ2 分层特定的 Lipschitz 正则化是否能够同时提升异常检测与鲁棒故障修正？
• RQ3 两阶段自监督框架在传感器损坏下是否同时提升异常识别与潜在空间重建？
• RQ4 基于扰动动力学和 Lipschitz 控制，容错多模态学习的设计原则有哪些？
• RQ5 在工业多模态数据集上的实验结果是否显示优于碎片化的鲁棒性方法？

主要发现

• 卷积层能够局部化扰动，使能量集中在较少的潜在坐标上，从而提升异常相对于密集层的显著性。
• 密集层将局部故障扩散到所有输出，降低每个坐标的显著性并妨碍检测。
• 分层特定的 Lipschitz 调制结合梯度裁剪，为检测灵敏度与修正稳定性之间提供了一个原则性权衡方式。
• 两阶段自监督框架（在干净数据上预训练 + 修正/对比阶段）在传感器损坏下提升异常检测与重建。
• 理论分析将扰动传播与体系结构选择联系起来，指引鲁棒的容错多模态设计。
• 在多模态工业数据集上的实验结果显示相较于碎片化的容错方法，在异常检测与重建方面有改进。