[논문 리뷰] Diffusion-KLMS Algorithm and its Performance Analysis for Non-Linear Distributed Networks

Rangeet Mitra, Vimal Bhatia|arXiv (Cornell University)|2015. 09. 04.

Advanced Adaptive Filtering Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 비선형 분산 네트워크를 위한 확산-커널 최소 제곱법(Diffusion-KLMS) 알고리즘을 제안하며, 커널 기법을 활용해 확산-LMS를 비선형 환경으로 확장한다. KLMS, LMS, 확산-LMS, 확산-RLS와 비교해 더 빠른 수렴 속도와 더 낮은 평균 제곱 오차(MSE) 상한선을 달성하며, 이론적으로 유도된 일시적 및 정 steady-state 성능 모델이 실험 결과와 밀도적으로 일치한다.

ABSTRACT

In a distributed network environment, the diffusion-least mean squares (LMS) algorithm gives faster convergence than the original LMS algorithm. It has also been observed that, the diffusion-LMS generally outperforms other distributed LMS algorithms like spatial LMS and incremental LMS. However, both the original LMS and diffusion-LMS are not applicable in non-linear environments where data may not be linearly separable. A variant of LMS called kernel-LMS (KLMS) has been proposed in the literature for such non-linearities. In this paper, we propose kernelised version of diffusion-LMS for non-linear distributed environments. Simulations show that the proposed approach has superior convergence as compared to algorithms of the same genre. We also introduce a technique to predict the transient and steady-state behaviour of the proposed algorithm. The techniques proposed in this work (or algorithms of same genre) can be easily extended to distributed parameter estimation applications like cooperative spectrum sensing and massive multiple input multiple output (MIMO) receiver design which are potential components for 5G communication systems.

연구 동기 및 목표

• 비선형 환경에서 데이터가 애फिन으로 분리되지 않는 경우 선형 분산 적응 필터링 알고리즘의 한계를 해결하기 위해.
• 확산 협업을 활용해 커널-LMS(KLMS) 프레임워크를 분산 네트워크로 확장하여 성능 향상을 도모하기 위해.
• 제안된 알고리즘의 일시적 및 정 steady-state 행동에 대한 이론적 표현을 유도하기 위해.
• 시뮬레이션을 통해 알고리즘 성능을 검증하고 최신의 분산 및 중심 집중식 비선형 필터링 방법과 비교하기 위해.
• 5G 관련 애플리케이션, 예를 들어 대량 MIMO 검출 및 협업 스펙트럼 감지에서의 적용 가능성을 입증하기 위해.

제안 방법

• 입력 데이터를 고차원의 재생 핵 힐버트 공간(RKHS)으로 매핑하여 선형 분리 가능성을 확보하기 위해 커널 기법을 적용해 확산-LMS 알고리즘의 커널화된 버전을 제안한다.
• 노드 간의 데이터 융합을 가능하게 하기 위해 확률적 혼합 행렬 A와 C를 사용하여 분산 네트워크에서의 강건하고 적응형 정보 교환을 보장한다.
• 일시적 및 정 steady-state 행동을 모델링하기 위해 평균 제곱 편차(MSD)와 초과 평균 제곱 오차(EMSE)에 대한 이론적 표현을 도출한다.
• 커널 함수를 사용해 RKHS에서 위드로우-호프 학습 규칙을 적용하며, 커널 함수는 산란 매개변수 σ로 매개변수화된다.
• 안정성을 확보하기 위해 단계 크기 μ에 기반한 수렴 조건을 설정한다: 0 < μ < 2 / ⟨C₁Φ(x), Φ(x_obs)⟩_ℋ, 비선형 설정에서의 안정성을 보장한다.
• 성능 평가를 위해 다양한 네트워크 구조와 크기에서 시뮬레이션에 고려된 가우시안 커널 함수를 사용하며, σ = 0.1로 설정한다.

실험 결과

연구 질문

• RQ1 커널 기반 방법을 사용해 확산-LMS 프레임워크를 비선형 시스템으로 효과적으로 확장할 수 있는가?
• RQ2 수렴 속도와 정 steady-state 오차 측면에서 제안된 Diffusion-KLMS는 KLMS, LMS, 확산-LMS와 비교해 어떻게 성능가능한가?
• RQ3 이론적 모델이 Diffusion-KLMS 알고리즘의 일시적 및 정 steady-state 행동을 정확히 예측할 수 있는가?
• RQ4 네트워크 크기가 Diffusion-KLMS 알고리즘의 정 steady-state MSE 상한선에 미치는 영향은 무엇인가?
• RQ5 학습 및 테스트 단계에서 제안된 알고리즘의 계산 복잡도는 얼마인가?

주요 결과

• 제안된 Diffusion-KLMS는 비선형 환경에서 기존의 LMS 및 확산-LMS에 비해 평균 제곱 오차(MSE) 감소 측면에서 20년 단위 성능 향상을 달성한다.
• 단일 노드 KLMS에 비해 10년 단위 성능 향상을 달성하여 분산 협업의 이점을 입증한다.
• 일시적 및 정 steady-state MSE에 대한 이론적 예측이 실험 결과와 밀도적으로 일치하며, 특히 적응의 시간 상수 영역 내에서 높은 일치도를 보인다.
• 네트워크 크가 증가함에 따라 실험적 MSE 상한선이 감소하며, 이 경향은 다수의 네트워크 구성에서 이론 모델과 일치한다.
• 학습 단계에서 계산 복잡도는 O(D²|𝒢|)이며, 테스트 단계에서는 O(D|𝒢|)이다. 여기서 D는 입력 차원 수이고 |𝒢|는 노드 수이다.
• 비선형 시스템에서 공분산 행렬 갱신의 실패로 인해 확산-RLS보다 확산-KLMS가 비선형 시나리오에서 더 뛰어난 성능을 보인다.