[논문 리뷰] Zero Attracting PNLMS Algorithm and Its Convergence in Mean

Rajib Lochan Das, Mrityunjoy Chakraborty|arXiv (Cornell University)|2015. 07. 10.

Advanced Adaptive Filtering Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 l1-노름 페널티를 도입하여 희박성을 촉진함으로써 수렴 속도를 향상시키고 정상 상태 초과 평균 제곱 오차(EMSE)를 감소시키는 Zero-Attracting PNLMS (ZA-PNLMS) 알고리즘을 제안한다. 이 방법은 불활성 탭 계수를 수축시키는 제로 어트랙터를 도입하여, PNLMS가 후행 반복에서 수렴 속도가 떨어지는 경향을 완화한다.

ABSTRACT

The proportionate normalized least mean square (PNLMS) algorithm and its variants are by far the most popular adaptive filters that are used to identify sparse systems. The convergence speed of the PNLMS algorithm, though very high initially, however, slows down at a later stage, even becoming worse than sparsity agnostic adaptive filters like the NLMS. In this paper, we address this problem by introducing a carefully constructed l1 norm (of the coefficients) penalty in the PNLMS cost function which favors sparsity. This results in certain zero attractor terms in the PNLMS weight update equation which help in the shrinkage of the coefficients, especially the inactive taps, thereby arresting the slowing down of convergence and also producing lesser steady state excess mean square error (EMSE). We also carry out the convergence analysis (in mean) of the proposed algorithm.

연구 동기 및 목표

• 불활성 탭에 대한 단계 크기가 감소하는 것 때문에 PNLMS가 후행 반복에서 수렴 속도가 느려지는 문제를 해결하기 위해.
• 희박한 시스템 식별을 위한 PNLMS의 일시적 및 정상 상태 성능을 향상시키기 위해.
• 계수 수축을 통해 희박성을 촉진하여 정상 상태 초과 평균 제곱 오차(EMSE)를 감소시키기 위해.
• 이득 행렬과 제로 어트랙터로 인해 복잡해진 상황에서도 ZA-PNLMS 알고리즘의 엄밀한 평균 수렴 분석을 제공하기 위해.

제안 방법

• 희박한 해를 선호하기 위해 PNLMS 비용 함수에 l1-노름 페널티를 도입한다.
• 불활성 탭 계수를 0으로 끌어당기는 제로 어트랙터 항을 포함한 수정된 가중치 갱신 식을 유도한다.
• 수렴 분석을 단순화하기 위해 변환 도메인 등가 모델을 사용한다.
• 연속된 값의 랜덤 벡터의 각도 이산화를 적용하여 이득 행렬과 제로 어트랙터의 통계적 복잡성을 다룬다.
• 대각선 이득 행렬 G(n)를 갖는 순환 최소 제곱(RLMS) 프레임워크를 활용하여 탭 가중치 크기에 비례하는 단계 크기를 적응적으로 조정한다.
• 통계적 독립성을 G⁻¹/²(n)과 sign(w(n)) 간의 정상 상태에서 가정함으로써 평균 수렴 분석을 수행하고, 편향 식을 유도한다.

실험 결과

연구 질문

• RQ1 l1-노름 페널티의 포함이 희박한 시스템에서 PNLMS의 수렴 행동에 어떤 영향을 미치는가?
• RQ2 표준 PNLMS에 비해 제로 어트랙터 메커니즘이 정상 상태 EMSE를 어느 정도 감소시키는가?
• RQ3 이득 행렬과 비선형 제로 어트랙터 항이 존재함에도 불구하고 ZA-PNLMS에 대해 엄밀한 평균 수렴 분석을 수행할 수 있는가?
• RQ4 ZA-PNLMS 알고리즘에서 추정된 탭 가중치의 편향은 진짜 최적 가중치의 크기와 어떻게 관련되는가?
• RQ5 제로 어트랙터는 후행 반복에서 알고리즘의 수렴 속도와 안정성에 어떤 영향을 미치는가?

주요 결과

• ZA-PNLMS 알고리즘은 불활성 탭 계수를 적극적으로 수축시킴으로써 표준 PNLMS보다 더 빠른 수렴 속도와 낮은 정상 상태 EMSE를 달성한다.
• 크기가 큰 활성 탭은 추정에서 덜 편향을 경험하는 반면, 크기가 작은 활성 탭은 그 이득 인자에 대한 역수 비례로 증가한 편향을 보인다.
• 불활성 탭(즉, w_opt,i = 0)은 제로 어트랙터 덕분에 정상 상태에서 근본적으로 편향이 없으며, 그 추정치는 0 근처의 작은 밴드에 고정된다.
• 평균 수렴 분석 결과, 특히 활성 탭의 경우 추정된 가중치가 진짜 최적 가중치보다 원점에 더 가까운 값을 수렴하는 것으로 확인되었다.
• 시뮬레이션 결과는 E[w_i(n)]이 큰 크기의 활성 탭(예: w_opt,37 = 0.9)에서는 최적 값으로 수렴하는 것으로 검증되었으며, 작은 활성 탭(예: w_opt,55 = 0.1)은 측정 가능한 편향을 보였다.
• 학습 곡선과 그림 6의 편향-크기 그래프를 통해 편향이 최적 탭 크도가 증가함에 따라 감소하는 것이 정량적으로 확인되었다.