[논문 리뷰] Regularized Least-Mean-Square Algorithms

Yilun Chen, Yuantao Gu외 1명|arXiv (Cornell University)|2010. 12. 22.

Advanced Adaptive Filtering Techniques참고 문헌 20인용 수 83

한 줄 요약

이 논문은 희소 또는 그룹 희소 시스템에서의 적응형 시스템 식별 성능을 향상시키기 위해 볼록 정규화를 통합한 정규화된 최소 제곱법(LMS) 알고리즘의 가족을 제안한다. 정규화 파ameter의 닫힌 형식 표현을 유도함으로써, 평균 제곱편차 측면에서 기존 LMS를 엄밀히 열등하게 만드는 방법을 제시한다. 희소성 가정 하에 수렴 속도와 정상 상태 오차 측면에서 뚜렷한 이점이 입증되었다.

ABSTRACT

We consider adaptive system identification problems with convex constraints and propose a family of regularized Least-Mean-Square (LMS) algorithms. We show that with a properly selected regularization parameter the regularized LMS provably dominates its conventional counterpart in terms of mean square deviations. We establish simple and closed-form expressions for choosing this regularization parameter. For identifying an unknown sparse system we propose sparse and group-sparse LMS algorithms, which are special examples of the regularized LMS family. Simulation results demonstrate the advantages of the proposed filters in both convergence rate and steady-state error under sparsity assumptions on the true coefficient vector.

연구 동기 및 목표

• 볼록 제약 조건과 시간에 따라 변하는 정규화를 통합한 정규화된 LMS 알고리즘의 일반적 프레임워크를 개발하는 것.
• 정규화 파ameter 선택을 체계적이고 닫힌 형식으로 제안하여 기존 LMS에 비해 성능 우월성을 보장하는 것.
• 각각 ℓ1 및 ℓ1,2 정규화를 사용하여 희소성 및 그룹 희소성 시스템 식별에 프레임워크를 확장하는 것.
• 백색 및 상관된 입력 신호 모두에서 수렴 속도와 정상 상태 오차 측면에서 엄밀한 성능 향상을 입증하는 것.
• 유사한 계산 비용에서 투영 기반 방법과 비교해 모델 잘못 지정에 대해 강건하고 뛰어난 성능을 보이는 것.

제안 방법

• 볼록 정규화 함수에서 유도된 추가 부분 기울기 항을 포함한 정규화된 LMS 업데이트 식을 도입한다.
• 정규화된 LMS가 평균 제곱편차 측면에서 기존 LMS를 열등하게 만들기 위해 필요한 정규화 파am터 ρn*의 닫힌 형식 표현을 유도한다.
• 희소성 강화를 위해 ℓ1 정규화를 적용하여 ZA-LMS 및 RZA-LMS를 특수 케이스로 복원한다.
• 블록 구조 시스템에서 구조적 희소성을 촉진하기 위해 ℓ1,2 정규화를 사용한다.
• 유도된 파am터 조건 하에 기대 평균 제곱편차가 기존 LMS의 것보다 위로 유계임을 보여주는 수학적 귀납법을 통해 이론적 우월성을 확립한다.
• 백색 및 상관된 입력 신호 모두에서의 성능을 분석하여 강건성과 일관된 우월성을 입증한다.

실험 결과

연구 질문

• RQ1 볼록 제약 조건 하에서 기존 LMS를 엄밀히 열등하게 만드는 일반적인 정규화된 LMS 알고리즘의 가족을 개발할 수 있는가?
• RQ2 정규화 파am터의 닫힌 형식 표현은 정규화된 LMS가 기존 LMS를 엄밀히 열등하게 만들기 위해 어떤 조건을 만족하는가?
• RQ3 ℓ1 및 ℓ1,2 정규화는 LMS 프레임워크에 어떻게 효과적으로 통합되어 시스템 계수의 희소성을 활용할 수 있는가?
• RQ4 백색 잡음 외에 상관된 입력 신호 하에서도 제안된 방법이 성능 우월성을 유지하는가?
• RQ5 유사한 계산 비용에서 현행 투영 기반 적응 필터링 방법과 비교해 정규화된 LMS는 수렴 속도와 정상 상태 오차 측면에서 어떻게 비교되는가?

주요 결과

• 정규화 파am터 ρn이 [0, 2ρn*] 구간 내에서 선택될 경우, 정규화된 LMS 알고리즘이 평균 제곱편차 측면에서 기존 LMS를 엄밀히 열등하게 만든다. 여기서 ρn*는 닫힌 형식으로 유도된다.
• 백색 입력 신호 하에서는 유도된 파am터 선택 조건이 정규화된 LMS가 기존 LMS보다 낮은 평균 제곱편차를 달성하도록 보장한다.
• 희소 LMS 필터인 ZA-LMS 및 RZA-LMS는 제안된 정규화된 LMS 가족의 특수 케이스로 밝혀졌다.
• ℓ1,2 정규화를 사용한 그룹 희소 LMS는 백색 및 상관된 입력 모두에서 기존 LMS를 엄밀히 열등하게 만들며, 유도된 닫힌 형식의 파am터 선택 규칙을 가진다.
• 수치 시뮬레이션을 통해 희소성 가정 하에 더 빠른 수렴 속도와 낮은 정상 상태 오차를 보였다.
• 유사 비용의 투영 기반 적응 필터보다 성능이 뛰어나며, 모델 잘못 지정에 대해 강건하다.