[论文解读] Learning Robust Low-Rank Representations

Pablo Sprechmann, Alexander M. Bronstein+1 more|arXiv (Cornell University)|Sep 27, 2012

Sparse and Compressive Sensing Techniques参考文献 26被引用 5

一句话总结

本文提出一种可学习的前馈神经网络架构，通过近似鲁棒主成分分析（RPCA），实现比精确求解器快几个数量级的推理速度，同时保持近乎相同的性能。通过训练受优化算法启发的深度回归器，该方法实现了图像、音频和视频处理应用中的实时、在线低秩与稀疏矩阵分解。

ABSTRACT

In this paper we present a comprehensive framework for learning robust low-rank representations by combining and extending recent ideas for learning fast sparse coding regressors with structured non-convex optimization techniques. This approach connects robust principal component analysis (RPCA) with dictionary learning techniques and allows its approximation via trainable encoders. We propose an efficient feed-forward architecture derived from an optimization algorithm designed to exactly solve robust low dimensional projections. This architecture, in combination with different training objective functions, allows the regressors to be used as online approximants of the exact offline RPCA problem or as RPCA-based neural networks. Simple modifications of these encoders can handle challenging extensions, such as the inclusion of geometric data transformations. We present several examples with real data from image, audio, and video processing. When used to approximate RPCA, our basic implementation shows several orders of magnitude speedup compared to the exact solvers with almost no performance degradation. We show the strength of the inclusion of learning to the RPCA approach on a music source separation application, where the encoders outperform the exact RPCA algorithms, which are already reported to produce state-of-the-art results on a benchmark database. Our preliminary implementation on an iPad shows faster-than-real-time performance with minimal latency.

研究动机与目标

• 解决精确RPCA求解器在实时应用中计算成本高、延迟大的问题。
• 为具有动态主成分的流式数据提供在线、自适应的低秩表示学习能力。
• 开发一种可训练的前馈架构，近似求解鲁棒PCA优化问题。
• 将框架扩展至处理数据表示中的几何变换与对齐任务。
• 在移动设备上实现实际部署，具备极低延迟和高效率。

提出的方法

• 设计一种基于一阶优化算法的多层神经网络架构，用于求解鲁棒低秩分解问题。
• 将网络训练为回归器，使用监督或无监督目标函数预测输入数据的低秩与稀疏分量。
• 在底层RPCA公式中使用核范数和ℓ1范数作为正则化项：min ‖L‖* + λ‖O‖₁，满足 ‖X − L − O‖²_F ≤ ε。
• 利用结构化非凸优化技术减小问题规模并提升收敛速度。
• 集成可微分编码器，可针对特定任务（如音频源分离或视频前景-背景分解）进行微调。
• 在最小修改架构的前提下，将框架应用于真实世界数据，包括通过学习对齐方法处理几何数据变换。

实验结果

研究问题

• RQ1 能否训练深度神经网络以显著降低推理时间，近似求解精确RPCA问题？
• RQ2 在真实世界数据上，学习编码器的性能与精确RPCA求解器在精度和速度方面相比如何？
• RQ3 该框架能否扩展以处理低秩子空间动态变化的在线流式数据？
• RQ4 监督训练与无监督训练对低秩表示质量的影响如何？
• RQ5 该架构能否适应处理数据表示中的几何变换与对齐任务？

主要发现

• 所提出的神经网络编码器相比精确RPCA求解器实现了1000倍的速度提升，GPU上每帧推理延迟低至92μs。
• 在MIR-1K音频分离基准测试中，监督训练的神经RPCA编码器取得6.38的GNSDR，优于精确RPCA求解器（5.48）和无监督变体。
• 基于网络的方法在视频背景-前景分离任务中与精确RPCA算法结果几乎完全一致，但速度显著更快。
• 初步的iPad实现展示了超实时性能，延迟极低，支持移动设备上的实时音频与视频处理。
• 与无监督训练相比，监督训练使GSIR提升15%，GSAR提升12%，证明了任务特定学习的优势。
• 该框架可推广至使用相似架构原则的鲁棒非负矩阵分解，表明其具有广泛适用性。