[论文解读] Deep-RLS: A Model-Inspired Deep Learning Approach to Nonlinear PCA

Zahra Esmaeilbeig, Shahin Khobahi+1 more|arXiv (Cornell University)|Nov 15, 2020

Blind Source Separation Techniques参考文献 15被引用 4

一句话总结

本文提出 Deep-RLS，一种受递归最小二乘法（RLS）算法启发的深度学习框架，用于盲源分离（BSS）中的非线性主成分分析（PCA）。通过将 RLS 迭代过程展开为具有可学习参数的深度神经网络，包括通过 ReLU 约束正则化的遗忘因子，Deep-RLS 在恢复源信号方面相比传统 RLS 显著降低了均方误差（MSE），尤其在层数较少且源信号维度增加时表现更优。

ABSTRACT

In this work, we consider the application of model-based deep learning in nonlinear principal component analysis (PCA). Inspired by the deep unfolding methodology, we propose a task-based deep learning approach, referred to as Deep-RLS, that unfolds the iterations of the well-known recursive least squares (RLS) algorithm into the layers of a deep neural network in order to perform nonlinear PCA. In particular, we formulate the nonlinear PCA for the blind source separation (BSS) problem and show through numerical analysis that Deep-RLS results in a significant improvement in the accuracy of recovering the source signals in BSS when compared to the traditional RLS algorithm.

研究动机与目标

• 为解决线性 PCA 在分离统计独立源信号时的局限性，因其依赖于二阶统计量。
• 通过引入高阶统计量实现非线性 PCA，以提升盲源分离（BSS）性能。
• 开发一种深度学习架构，整合经典 RLS 算法的结构，实现自适应、实时的信号恢复。
• 利用深度展开技术构建可微分、端到端可训练的网络，以提升标准 RLS 的收敛性和准确性。

提出的方法

• Deep-RLS 网络将递归最小二乘法（RLS）算法展开为具有 T 个层的深度神经网络，每一层对应一次 RLS 迭代。
• 每一层通过分离矩阵 W(k)、非线性激活函数 g(·) 和遗忘因子 ωk 计算源信号的估计值。
• 遗忘因子 ωk 通过损失函数中的基于 ReLU 的正则化项进行约束，以确保 0 < ωk ≤ 1，从而保持数值稳定性。
• 网络通过所有层的累积均方误差（MSE）损失进行训练，使用时间反向传播优化参数 {Γk} = {Hk, ωk, bk}。
• 训练过程采用小批量学习，使用 Adam 优化器，混合矩阵 A 固定并从标准正态分布中抽取。
• 该架构旨在模仿 RLS 的递归结构，同时支持分离矩阵和非线性变换的端到端学习。

实验结果

研究问题

• RQ1 递归最小二乘法（RLS）算法能否被有效展开为深度神经网络，以提升盲源分离中非线性 PCA 的性能？
• RQ2 所提出的 Deep-RLS 框架在源信号恢复精度方面与传统 RLS 相比表现如何？
• RQ3 可学习参数（如遗忘因子）的引入在多大程度上提升了非线性 PCA 的鲁棒性和收敛性？
• RQ4 采用 ReLU 正则化遗忘因子的深度展开方法，是否能实现比固定参数 RLS 更好的泛化能力与更低的 MSE？

主要发现

• 与传统 RLS 相比，Deep-RLS 在恢复源信号时显著降低了均方误差（MSE），即使层数更少亦然。
• 对于 m=2 个源信号，Deep-RLS 在所有测试的层数/迭代次数下均优于 RLS（β=0.99），实现了更低的 MSE。
• 随着源信号数量 m 增加，Deep-RLS 相较于 RLS 仍保持更优性能，展现出良好的可扩展性。
• 基于 ReLU 的遗忘因子 ωk 正则化确保了可行性（0 < ωk ≤ 1），并有助于训练稳定与收敛性提升。
• 所有层的累积 MSE 损失支持有效的反向传播与参数优化，从而实现更优的信号重构。
• 实验结果表明，Deep-RLS 网络在未见测试数据上泛化良好，测试集大小为 100，训练集大小为 1,000 个样本。