[논문 리뷰] Gradient Compared Lp-LMS Algorithms for Sparse System Identification

Yong Feng, Jiasong Wu외 3명|arXiv (Cornell University)|2015. 03. 04.

Advanced Adaptive Filtering Techniques참고 문헌 8인용 수 4

한 줄 요약

이 논문은 희박한 시스템 식별을 위한 두 가지 새로운 Lp-LMS 알고리즘—LpGC-LMS와 LpNGC-LMS—을 제안한다. 이 알고리즘들은 기울기의 부호에 따라 선택적으로 p-노름 페널티를 적용하기 위해 기울기 비교기(gradient comparator)를 사용한다. 표준 LMS 및 Lp-LMS보다 더 빠른 수렴 속도와 더 낮은 정상 상태 오차를 달성하며, 이론적 분석과 시뮬레이션을 통해 희박한 환경에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

In this paper, we propose two novel p-norm penalty least mean square (Lp-LMS) algorithms as supplements of the conventional Lp-LMS algorithm established for sparse adaptive filtering recently. A gradient comparator is employed to selectively apply the zero attractor of p-norm constraint for only those taps that have the same polarity as that of the gradient of the squared instantaneous error, which leads to the new proposed gradient compared p-norm constraint LMS algorithm (LpGC-LMS). We explain that the LpGC-LMS can achieve lower mean square error than the standard Lp-LMS algorithm theoretically and experimentally. To further improve the performance of the filter, the LpNGC-LMS algorithm is derived using a new gradient comparator which takes the sign-smoothed version of the previous one. The performance of the LpNGC-LMS is superior to that of the LpGC-LMS in theory and in simulations. Moreover, these two comparators can be easily applied to other norm constraint LMS algorithms to derive some new approaches for sparse adaptive filtering. The numerical simulation results show that the two proposed algorithms achieve better performance than the standard LMS algorithm and Lp-LMS algorithm in terms of convergence rate and steady-state behavior in sparse system identification settings.

연구 동기 및 목표

• 기존의 Lp-LMS 알고리즘이 희박한 시스템 식별에서 가지는 한계를 해결하기 위해, 페널티 적용을 적응적으로 도입함.
• 기울기 부호를 활용한 지능적인 탭 업데이트 선택을 통해 희박한 적응 필터링에서 평균 제곱 오차를 감소함.
• 표준 LMS 및 Lp-LMS 알고리즘과 비교해 수렴 속도와 정상 상태 거동을 향상시키기 위해 노력함.
• 기울기 비교기의 일반화된 프레임워크를 개발하여 다른 노름 제약이 있는 LMS 알고리즘에 적용 가능하도록 함.

제안 방법

• 기울기의 부호와 동일한 부호를 가진 탭들에만 p-노름 제로 어트랙터를 적용하는 기울기 비교기를 도입함.
• 현재 기울기 부호를 활용해 선택적 정규화를 이끄는 LpGC-LMS를 제안함.
• 이전 기울기의 부호를 스무딩한 버전을 사용해 안정성과 성능을 향상시킨 LpNGC-LMS를 개발함.
• 적응 과정에서 가중치 벡터의 희박성을 촉진하기 위해 p-노름 제약을 적용함.
• 기울기 비교기를 표준 Lp-LMS 프레임워크에 통합하여 새로운 알고리즘을 유도함.
• 이론적 분석과 시뮬레이션을 통해 제안된 방법의 향상된 성능를 검증함.

실험 결과

연구 질문

• RQ1 기울기를 기반으로 한 비교기는 희박한 시스템 식별에서 p-노름 제약이 있는 LMS 알고리즘의 성능을 향상시킬 수 있는가?
• RQ2 기울기 부호에 따라 p-노름 페널티를 선택적으로 적용함으로써 더 빠른 수렴 속도와 더 낮은 정상 상태 오차를 달성할 수 있는가?
• RQ3 LpNGC-LMS에서 사용된 부호 스무딩된 기울기 비교기와 LpGC-LMS의 표준 기울기 비교기 간의 성능 차이는 어떠한가?
• RQ4 제안된 기울기 비교기 프레임워크는 다른 노름 제약이 있는 LMS 알고리즘에 일반화될 수 있는가?
• RQ5 LpGC-LMS 및 LpNGC-LMS는 표준 LMS 및 Lp-LMS에 비해 희박한 시스템에서 이론적 및 실증적으로 얼마나 높은 성능 향상을 보이는가?

주요 결과

• 이론적 및 실험적으로 LpGC-LMS는 표준 Lp-LMS보다 더 낮은 평균 제곱 오차를 달성함.
• 시뮬레이션 결과, LpNGC-LMS는 수렴 속도와 정상 상태 거동 면에서 LpGC-LMS를 초월함.
• 제안된 두 알고리즘 모두 희박한 시스템 식별 과제에서 표준 LMS 및 Lp-LMS보다 더 빠른 수렴 속도와 더 낮은 정상 상태 오차를 보임.
• 기울기 비교기 메커니즘이 관련이 있는 필터 탭들에만 집중함으로써 희박성 촉진을 효과적으로 향상시킴.
• 제안된 방법은 일반화 가능하며, 다른 노름 제약이 있는 LMS 알고리즘에 적용해 성능 향상을 이룰 수 있음.
• 수치 시뮬레이션을 통해 새로운 알고리즘의 이론적 이점이 여러 성능 지표에서 확인됨.