[論文レビュー] Deep-RLS: A Model-Inspired Deep Learning Approach to Nonlinear PCA

Zahra Esmaeilbeig, Shahin Khobahi+1 more|arXiv (Cornell University)|Nov 15, 2020

Blind Source Separation Techniques参考文献 15被引用数 4

ひとこと要約

本稿では、盲検源分離（BSS）における非線形主成分分析（PCA）のため、再帰的最小二乗法（RLS）アルゴリズムにインspiredされた深層学習フレームワーク、Deep-RLSを提案する。RLSの反復処理を、学習可能なパラメータ（ReLU制約による正則化を施した忘却因子を含む）を有する深層ニューラルネットワークにアンフォールドすることで、従来のRLSと比較して、特に層数が少なく、源の次元が増加する状況下でも、源信号の復元において顕著に低い平均二乗誤差（MSE）を達成する。

ABSTRACT

In this work, we consider the application of model-based deep learning in nonlinear principal component analysis (PCA). Inspired by the deep unfolding methodology, we propose a task-based deep learning approach, referred to as Deep-RLS, that unfolds the iterations of the well-known recursive least squares (RLS) algorithm into the layers of a deep neural network in order to perform nonlinear PCA. In particular, we formulate the nonlinear PCA for the blind source separation (BSS) problem and show through numerical analysis that Deep-RLS results in a significant improvement in the accuracy of recovering the source signals in BSS when compared to the traditional RLS algorithm.

研究の動機と目的

• 線形PCAが2次モーメント統計に依存するため、統計的に独立な源信号の分離に限界を示す問題に対処する。
• 非線形PCAを用いて高次モーメント統計を統合することで、盲検源分離（BSS）の性能を向上させる。
• 古典的RLSアルゴリズムの構造を統合した深層学習アーキテクチャを構築し、適応的かつリアルタイムな信号復元を実現する。
• 深層アンフォールドを活用して、微分可能でエンドツーエンド学習可能なネットワークを構築し、標準的なRLSよりも収束性と精度を向上させる。

提案手法

• Deep-RLSネットワークは、再帰的最小二乗法（RLS）アルゴリズムをT層の深層ニューラルネットワークにアンフォールドし、各層が1回のRLS反復に対応する。
• 各層は、分離行列W(k)、非線形活性化関数g(·)、および忘却因子ωkを用いて、源信号の推定値を計算する。
• 忘却因子ωkは、損失関数内でのReLUベースの正則化項により制約され、0 < ωk ≤ 1を満たすように保証され、数値的安定性が確保される。
• ネットワークは、全層にわたる累積的平均二乗誤差（MSE）損失を用いて学習され、パラメータ{Γk} = {Hk, ωk, bk}の最適化のため、時系列に沿った誤差逆伝播が行われる。
• 学習手順ではバッチ学習を採用し、Adam最適化アルゴリズムを用い、標準正規分布から抽出された固定の混合行列Aを用いる。
• アーキテクチャは、RLSの再帰的構造を模倣しつつ、分離行列および非線形変換のエンドツーエンド学習を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 再帰的最小二乗法（RLS）アルゴリズムを、非線形PCAの性能向上を図るための深層ニューラルネットワークに効果的にアンフォールドできるか？
• RQ2 提案されたDeep-RLSフレームワークは、従来のRLSと比較して、源信号の復元精度においてどの程度優れているか？
• RQ3 忘却因子などの学習可能なパラメータの導入が、非線形PCAのロバストネスおよび収束性をどの程度向上させるか？
• RQ4 ReLU正則化付き忘却因子を用いた深層アンフォールドアプローチは、固定パラメータRLSと比較して、より優れた一般化性能と低いMSEを達成できるか？

主な発見

• Deep-RLSは、層数が少なく、かつ源の次元が増加する状況下でも、従来のRLSと比較して顕著に低い平均二乗誤差（MSE）を達成する。
• m=2の源信号の場合、Deep-RLSはβ=0.99のRLSを上回り、全テストされた層数/反復回数において低いMSEを達成する。
• 源信号の数mが増加するにつれ、Deep-RLSはRLSと比較して優れた性能を維持し、スケーラビリティを示す。
• 忘却因子ωkのReLUベースの正則化により、妥当性（0 < ωk ≤ 1）が保証され、安定した学習と改善された収束性に寄与する。
• 全層にわたる累積MSE損失により、効果的な誤差逆伝播とパラメータ最適化が可能となり、より優れた信号再構成が実現される。
• 実験的結果から、Deep-RLSネットワークは未学習のテストデータに対しても良好な一般化性能を示しており、テストデータサイズは100、トレーニングデータサイズは1,000サンプルである。