[論文レビュー] A Robust Zero-point Attraction LMS Algorithm on Near Sparse System Identification

Jian Jin, Qing Qu+1 more|arXiv (Cornell University)|Mar 9, 2013

Blind Source Separation Techniques参考文献 8被引用数 5

ひとこと要約

本稿では、近似スパース環境におけるスパースシステム同定性能を向上させるために、動的ウィンドウ化ZA-LMS（DWZA-LMS）アルゴリズムを提案する。部分的l1ノルム制約を導入し、推定誤差に基づいてゼロ点への吸引力の重みを動的に設定することで、計算複雑性を増加させることなく収束速度を向上させるとともに定常状態の不一致を低減する。標準的および既存のZA-LMSバージョンと比較して、近似スパースシステムにおいて優れた性能を発揮する。

ABSTRACT

The newly proposed $l_1$ norm constraint zero-point attraction Least Mean Square algorithm (ZA-LMS) demonstrates excellent performance on exact sparse system identification. However, ZA-LMS has less advantage against standard LMS when the system is near sparse. Thus, in this paper, firstly the near sparse system modeling by Generalized Gaussian Distribution is recommended, where the sparsity is defined accordingly. Secondly, two modifications to the ZA-LMS algorithm have been made. The $l_1$ norm penalty is replaced by a partial $l_1$ norm in the cost function, enhancing robustness without increasing the computational complexity. Moreover, the zero-point attraction item is weighted by the magnitude of estimation error which adjusts the zero-point attraction force dynamically. By combining the two improvements, Dynamic Windowing ZA-LMS (DWZA-LMS) algorithm is further proposed, which shows better performance on near sparse system identification. In addition, the mean square performance of DWZA-LMS algorithm is analyzed. Finally, computer simulations demonstrate the effectiveness of the proposed algorithm and verify the result of theoretical analysis.

研究の動機と目的

• ZA-LMSが近似スパースシステムにおいて性能を発揮できない問題に対処する。具体的には、l1ノルム正則化が係数を正確にゼロに強制することで、定常状態の不一致が増大する。
• 形状パラメータβを用いて制御可能な一般化ガウス分布（GGD）を用いて近似スパースシステムをモデル化し、正確にゼロでないがゼロに近い係数を持つシステムを現実的かつ正確に表現する。
• 計算複雑性を低く保ちつつ、近似スパース状況における収束速度の向上と不一致の低減を実現する、修正されたZA-LMSアルゴリズムを開発する。
• 提案されたアルゴリズムの平均二乗収束および定常状態MSEについて理論的解析を行う。
• 広範なシミュレーションを通じて、さまざまなスパース度およびシステムパラメータの下でのアルゴリズムの頑健性と性能を検証する。

提案手法

• 形状パラメータβを用いて制御可能な一般化ガウス分布（GGD）を用いて近似スパースシステムをモデル化する。
• ZA-LMSにおける全l1ノルムペナルティを、動的に調整されるしきい値以下の係数にのみ適用する部分的l1ノルム制約に置き換える。
• 推定誤差の大きさに基づいてゼロ点への吸引項に動的重み係数を導入し、吸引力の制御を適応的に行う。
• 部分的l1ノルムと誤差重み付きゼロ点吸引を統合し、収束速度と不一致のバランスを最適化する新しいアルゴリズム、動的ウィンドウ化ZA-LMS（DWZA-LMS）を提案する。
• ガウス分布を仮定したもとで、DWZA-LMSの平均二乗収束および定常状態MSEの理論的表現を導出する。
• スパース度（β = 0.05, 0.1, 0.15）、システムタイプ（正確なスパース、近似スパース、非スパース）、アルゴリズムパラメータを変化させたコンピュータシミュレーションを用いて、性能および理論的解析の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ZA-LMSの性能は、標準的NLMSと比較して近似スパースシステムにおいてどのように劣化するのか。その原因は何か。
• RQ2 計算複雑性を増加させることなく、部分的l1ノルム制約が近似スパースシステムにおける頑健性を向上させられるか。
• RQ3 推定誤差を用いてゼロ点吸引力を動的に重み付けすることで、収束速度の向上と不一致の低減がどのように達成されるか。
• RQ4 提案されたDWZA-LMSアルゴリズムの理論的平均二乗収束挙動および定常状態MSEは何か。
• RQ5 提案アルゴリズムは、さまざまなスパース度およびシステムタイプ（非スパースシステムを含む）において、どのように性能を発揮するか。

主な発見

• DWZA-LMSは、正確なスパースおよび近似スパースシステムの両方において、標準的NLMSおよびZA-NLMSと比較して収束速度が著しく向上し、平均二乗偏差（MSD）の減衰が速い。
• β = 0.05から0.15の範囲でスパース度が変化しても、DWZA-LMSは低い定常状態不一致を維持し、システムスパース度の変化に対して頑健であることを示した。
• 非スパースシステム（β = 0.15、ガウス分布のタップ）においては、DWZA-LMSは標準的NLMSと同様の挙動を示し、非スパース状況でも性能が劣化しないことを確認した。
• 定常状態MSEの理論的解析結果はシミュレーション結果とよく一致しており、さまざまなステップサイズおよびρパラメータにおける平均二乗収束およびMSEの導出式の妥当性が検証された。
• 最適パラメータ選定が特定された：a ≈ 1×10⁻²（小さな係数の分散と一致）およびb ≈ 1が、収束速度と不一致のトレードオフにおいて最良の性能を発揮する。
• 適切に調整されたパラメータのもとで、アルゴリズムの性能はスパース度の変化にほとんど影響を受けず、スパース度が低下しても収束速度はわずかに低下するにとどまり、標準的NLMSを上回る速度を維持した。