[論文レビュー] Online dictionary learning for kernel LMS. Analysis and forward-backward splitting algorithm

Wei Gao, Jie Chen+2 more|arXiv (Cornell University)|Jun 22, 2013

Advanced Adaptive Filtering Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、入力信号の統計に応じて関連する原子を継続的に追加し、陳腐化した原子を除外することで、スパarsityと安定性を維持する動的で自己適応的な辞書更新を可能にする、ℓ₁-ノルム正則化を用いた前向き後向き分割（forward-backward splitting）を用いたオンライン辞書学習アルゴリズムを提案する。この手法により、非定常環境下でも収束性が向上し、計算負荷が低減される。

ABSTRACT

Adaptive filtering algorithms operating in reproducing kernel Hilbert spaces have demonstrated superiority over their linear counterpart for nonlinear system identification. Unfortunately, an undesirable characteristic of these methods is that the order of the filters grows linearly with the number of input data. This dramatically increases the computational burden and memory requirement. A variety of strategies based on dictionary learning have been proposed to overcome this severe drawback. Few, if any, of these works analyze the problem of updating the dictionary in a time-varying environment. In this paper, we present an analytical study of the convergence behavior of the Gaussian least-mean-square algorithm in the case where the statistics of the dictionary elements only partially match the statistics of the input data. This allows us to emphasize the need for updating the dictionary in an online way, by discarding the obsolete elements and adding appropriate ones. We introduce a kernel least-mean-square algorithm with L1-norm regularization to automatically perform this task. The stability in the mean of this method is analyzed, and its performance is tested with experiments.

研究の動機と目的

• データの増加に伴い線形に増加するフィルターオーダーによる、カーネルベースの適応フィルタリングにおける計算負荷とメモリ使用量の増大に対処する。
• 入力統計と完全に一致しない辞書要素のみを用いたKLMSの収束挙動を分析し、オンライン辞書適応の必要性を明らかにする。
• 入力信号の特徴に基づいて原子を動的に追加・削除する、安定なオンライン辞書学習フレームワークを開発する。
• 自動的に辞書サイズとスパarsityを制御できるように、ℓ₁-正則化付き前向き後向き分割アルゴリズムを導入する。
• 理論的解析とシミュレーションによる検証を通じて、時間変動する入力条件下でもアルゴリズムの平均安定性を保証する。

提案手法

• M個の原子からなる固定サイズの辞書を用いて、再生核ヒルベルト空間（RKHS）におけるカーネルLMS問題を定式化する。
• スパarsityを促進し、フィルターオーダーを低減するために、カーネル展開係数にℓ₁-ノルム正則化を適用する。
• ℓ₁-正則化に起因する非滑らかさを効率的に解けるよう、前向き後向き分割（FOBOS）を用いる。
• 入力信号分散に基づいて、新しい辞書要素の選択と陳腐化したものの削除を可能にするコherーンス基準を導入する。
• 期待される重みベクトルの収束を分析することで、アルゴリズムの平均安定性を保証するステップサイズ条件（式58）を導出する。
• オンライン二段階処理を実装する：(1) コヒーレンスしきい値を用いた辞書更新、(2) ℓ₁-正則化付きFOBOSを用いたパrameter更新。

実験結果

リサーチクエスチョン

• RQ1 辞書要素と入力データの間で統計的不一致が部分的である場合、カーネルLMSの収束にどのような影響を与えるか？
• RQ2 時間変動する辞書を用いたオンラインカーネルLMSにおいて、平均安定性を保証する条件は何か？
• RQ3 前向き後向き分割にℓ₁-正則化を適用することで、非定常環境下でも辞書サイズを効果的に制御し、性能を維持できるか？
• RQ4 動的辞書更新機構は、静的または固定サイズの辞書アプローチと比較して、スパarsityと追跡能力においてどのように異なるか？
• RQ5 入力信号分散の変化が、オンラインカーネルフィルタリングにおける辞書サイズと学習性能に与える影響は何か？

主な発見

• 提案されたFOBOS-KLMSアルゴリズムは、入力信号の特徴に基づいて新しい原子を動的に追加し、陳腐化したものを除外することで、スパースな辞書を維持している。
• シミュレーション結果から、性能を劣化させることなくフィルターオーダーを顕著に低減できることを示した。特に、入力分散が急激に変化する状況で顕著である。
• 入力分散が増加する場合、標準的なKLMSではコヒーレンス基準に従い辞書サイズが急激に増加するが、FOBOS-KLMSでははるかに小さい、自己適応的なサイズを維持する。
• 入力分散が減少する状況では、標準KLMSは不要な原子を継続して追加するが、FOBOS-KLMSは更新を停止し、スパarsityを保持する。
• 理論的解析により、ステップサイズが条件（58）を満たせば、アルゴリズムが平均収束することを確認した。この条件は、更新行列のスペクトルノルムが1未満であることを保証する。
• FOBOS-KLMSアルゴリズムは、入力分散が増加または減少する状況においても安定した性能を示し、非定常入力に対して高いロバストネスを示した。