[論文レビュー] Regularized Least-Mean-Square Algorithms

Yilun Chen, Yuantao Gu+1 more|arXiv (Cornell University)|Dec 22, 2010

Advanced Adaptive Filtering Techniques参考文献 20被引用数 83

ひとこと要約

本稿では、スパースまたはグループスパースなシステムに対して特に優れた性能を発揮するように、凸正則化を組み込んだ正則化された最小平均二乗（LMS）アルゴリズムの族を提案する。正則化パラメータの閉形式表現を導出することで、平均二乗偏差の観点で従来のLMSを理論的に上回ることを保証し、スパarsity仮定の下で収束速度と定常状態誤差の両面で優位性を示す。

ABSTRACT

We consider adaptive system identification problems with convex constraints and propose a family of regularized Least-Mean-Square (LMS) algorithms. We show that with a properly selected regularization parameter the regularized LMS provably dominates its conventional counterpart in terms of mean square deviations. We establish simple and closed-form expressions for choosing this regularization parameter. For identifying an unknown sparse system we propose sparse and group-sparse LMS algorithms, which are special examples of the regularized LMS family. Simulation results demonstrate the advantages of the proposed filters in both convergence rate and steady-state error under sparsity assumptions on the true coefficient vector.

研究の動機と目的

• 凸制約と時変正則化を組み込んだ正則化LMSアルゴリズムの一般枠組みの構築。
• 正則化パラメータの体系的で閉形式の選択法を確立し、従来のLMSに対する性能優位性を保証すること。
• それぞれℓ1およびℓ1,2正則化を用いて、スパースおよびグループスパースなシステム同定へと枠組みを拡張すること。
• 白色および相関のある入力信号の両方の下で、収束速度および定常状態誤差における理論的性能向上を示すこと。
• 同等の計算コストの下で、モデル誤指定に対してロバストであり、投影ベース手法よりも優れた性能を示すこと。

提案手法

• 凸正則化関数から導出される追加の部分勾配項を含む正則化LMS更新式を導入。
• 正則化LMSが平均二乗偏差において従来LMSを支配することを保証する正則化パラメータρn*の閉形式表現を導出。
• スパarsityを強制するためにℓ1正則化を適用し、ZA-LMSおよびRZA-LMSを特別なケースとして回復。
• ブロック構造システムにおける構造的スパarsityを促進するためにℓ1,2正則化（グループスパarsity）を用いる。
• 帰納法を用いて理論的優位性を確立し、導出されたパrameter条件の下で、正則化LMSの期待平均二乗偏差が従来LMSのそれ以上に有界であることを示す。
• 白色および相関のある入力信号の両方の下での性能を分析し、ロバスト性および一貫した優位性を証明。

実験結果

リサーチクエスチョン

• RQ1 凸制約の下で、従来LMSを理論的に上回る一般化された正則化LMSアルゴリズム族を開発可能か？
• RQ2 正則化LMSが従来LMSを支配するための正則化パラメータの閉形式表現は何か？
• RQ3 ℓ1およびℓ1,2正則化をLMSフレームワークに効果的に統合し、システム係数のスパarsityを活用できるか？
• RQ4 白色雑音に加えて相関のある入力信号の下でも、提案手法は性能優位性を維持できるか？
• RQ5 同等の計算コストの下で、現在の投影ベースの適応フィルタリング手法と比較して、収束および定常状態誤差の観点でどのように差がつくか？

主な発見

• 正則化パラメータρnが区間[0, 2ρn*]内に選択される場合、正則化LMSは平均二乗偏差において従来LMSを理論的に上回ることを保証する。ここでρn*は閉形式で導出された値である。
• 白色入力信号の下では、導出されたパラメータ選択により、正則化LMSが従来LMSより低い平均二乗偏差を達成することが保証される。
• スパースLMSフィルタであるZA-LMSおよびRZA-LMSは、提案された正則化LMS族の特別なケースとして示された。
• ℓ1,2正則化を用いたグループスパースLMSは、白色および相関のある入力信号の両方において、従来LMSを理論的に上回ることを示し、閉形式のパラメータ選択ルールが導出された。
• 数値シミュレーションにより、スパarsity仮定の下で、提案されたフィルタがより速い収束および低い定常状態誤差を達成することが確認された。
• 同等コストの投影ベース適応フィルターよりも優れた性能を示し、モデル誤指定に対してもロバストであることが示された。