[論文レビュー] Zero Attracting PNLMS Algorithm and Its Convergence in Mean

Rajib Lochan Das, Mrityunjoy Chakraborty|arXiv (Cornell University)|Jul 10, 2015

Advanced Adaptive Filtering Techniques参考文献 23被引用数 3

ひとこと要約

本稿では、l1ノルムペナルティを組み込むことでスパarsityを促進するゼロアトラクトP NLMS（ZA-PNLMS）アルゴリズムを提案する。これにより、収束速度が向上し、定常状態における余剰平均二乗誤差（EMSE）が低減される。この手法は、非活性なタップ係数を収縮させるゼロアトラクタを導入し、PNLMSが後期に収束が遅くなる傾向を軽減する。

ABSTRACT

The proportionate normalized least mean square (PNLMS) algorithm and its variants are by far the most popular adaptive filters that are used to identify sparse systems. The convergence speed of the PNLMS algorithm, though very high initially, however, slows down at a later stage, even becoming worse than sparsity agnostic adaptive filters like the NLMS. In this paper, we address this problem by introducing a carefully constructed l1 norm (of the coefficients) penalty in the PNLMS cost function which favors sparsity. This results in certain zero attractor terms in the PNLMS weight update equation which help in the shrinkage of the coefficients, especially the inactive taps, thereby arresting the slowing down of convergence and also producing lesser steady state excess mean square error (EMSE). We also carry out the convergence analysis (in mean) of the proposed algorithm.

研究の動機と目的

• 非活性タップに対するステップサイズの減少が原因で、PNLMSの収束が後期に遅延する問題に対処すること。
• スパースなシステム同定におけるPNLMSのトランジェントおよび定常状態性能を向上させること。
• 係数の収縮によってスパarsityを促進することで、定常状態における余剰平均二乗誤差（EMSE）を低減すること。
• ゲイン行列とゼロアトラクタの複雑さにもかかわらず、提案されたZA-PNLMSアルゴリズムの厳密な平均収束解析を提供すること。

提案手法

• スパース解を好むように、PNLMSのコスト関数にl1ノルムペナルティを導入する。
• 非活性タップ係数をゼロに引き寄せるゼロアトラクタ項を含む修正された重み更新式を導出する。
• 収束解析を簡素化するために、変換領域における同等モデルを用いる。
• 連続値をとる確率的ベクトルの角度量子化を適用し、ゲイン行列とゼロアトラクタの統計的複雑性を扱う。
• 対角行列のゲイン行列G(n)を用いた再帰的最小平均二乗（RLMS）フレームワークを採用し、ステップサイズをタップ重みの大きさに比例して適応させる。
• 統計的独立性の仮定（定常状態においてG⁻¹/²(n)とsign(w(n))が独立）を用いて平均収束を解析し、バイアス式の導出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 l1ノルムペナルティの導入が、スパースなシステムにおけるPNLMSの収束行動に与える影響は何か？
• RQ2 標準的なPNLMSと比較して、ゼロアトラクタ機構は定常状態におけるEMSEをどの程度低減するか？
• RQ3 ゲイン行列と非線形なゼロアトラクタ項が存在するにもかかわらず、ZA-PNLMSに対して厳密な平均収束解析を実施できるか？
• RQ4 ZA-PNLMSアルゴリズムにおいて、推定タップ重みのバイアスは、真の最適重みの大きさにどのように依存するか？
• RQ5 ゼロアトラクタは、後期の反復におけるアルゴリズムの収束速度と安定性にどのような影響を与えるか？

主な発見

• ZA-PNLMSアルゴリズムは、非活性タップ係数を能動的に収縮させることで、標準的なPNLMSと比較して収束が速く、定常状態におけるEMSEが低くなる。
• 大きな大きさの活性タップは推定バイアスが小さく抑えられるが、小さな大きさの活性タップはそのゲイン係数の逆数に比例してバイアスが増加する。
• 非活性タップ（w_opt,i = 0）は、ゼロアトラクタのおかげで定常状態においてほとんどバイアスが生じず、その推定値はゼロのまわりの小さな範囲に収束する。
• 平均収束解析により、推定重みが真の最適重みよりも原点に近い値に収束することが確認された。特に活性タップにおいて顕著である。
• シミュレーション結果により、E[w_i(n)]が大きな大きさの活性タップ（例：w_opt,37 = 0.9）では最適値に収束する一方、小さな活性タップ（例：w_opt,55 = 0.1）では測定可能なバイアスが観察された。
• バイアスは、最適タップの大きさが増加するにつれて定量的に減少することが、学習曲線および図6のバイアス-大きさプロットにより確認された。