[논문 리뷰] Online dictionary learning for kernel LMS. Analysis and forward-backward splitting algorithm

Wei Gao, Jie Chen외 2명|arXiv (Cornell University)|2013. 06. 22.

Advanced Adaptive Filtering Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 입력 신호 통계에 기반하여 관련 원소를 지속적으로 추가하고 오래된 원소를 제거함으로써 희소성과 안정성을 유지하는 동적이고 적응적인 사전 업데이트를 가능하게 하는 ℓ₁-노름 정규화를 적용한 전진-후진 분할(Forward-Backward Splitting)을 사용한 온라인 사전 학습 알고리즘을 제안한다. 이 방법은 비정상적인 환경에서 수렴 성능 향상과 계산 부하 감소를 달성한다.

ABSTRACT

Adaptive filtering algorithms operating in reproducing kernel Hilbert spaces have demonstrated superiority over their linear counterpart for nonlinear system identification. Unfortunately, an undesirable characteristic of these methods is that the order of the filters grows linearly with the number of input data. This dramatically increases the computational burden and memory requirement. A variety of strategies based on dictionary learning have been proposed to overcome this severe drawback. Few, if any, of these works analyze the problem of updating the dictionary in a time-varying environment. In this paper, we present an analytical study of the convergence behavior of the Gaussian least-mean-square algorithm in the case where the statistics of the dictionary elements only partially match the statistics of the input data. This allows us to emphasize the need for updating the dictionary in an online way, by discarding the obsolete elements and adding appropriate ones. We introduce a kernel least-mean-square algorithm with L1-norm regularization to automatically perform this task. The stability in the mean of this method is analyzed, and its performance is tested with experiments.

연구 동기 및 목표

• 데이터 증가에 따라 필터 순서가 선형적으로 증가함에 따라 커널 기반 적응 필터링에서 증가하는 계산 및 메모리 부담을 해결한다.
• 사전 원소가 입력 통계와 부분적으로만 일치할 경우 KLMS의 수렴 행동을 분석하여 온라인 사전 적응의 필요성을 규명한다.
• 입력 신호 특성에 따라 원소를 동적으로 추가하거나 제거하는 안정적인 온라인 사전 학습 프레임워크를 개발한다.
• 자기 조절 사전 크기와 희소성을 보장하기 위해 ℓ₁-정규화를 적용한 전진-후진 분할 알고리즘을 도입한다.
• 이론적 분석과 시뮬레이션 검증을 통해 시간에 따라 변화하는 입력 조건 하에서 알고리즘의 평균 안정성을 확보한다.

제안 방법

• 고정 크기의 M개 원소로 구성된 사전을 사용하여 재생 커널 힐베르트 공간(RKHS)에서 커널 LMS 문제를 수립한다.
• 필터 순서 감소와 희소성 증진을 위해 커널 전개 계수에 ℓ₁-노름 정규화를 적용한다.
• ℓ₁-정규화로 인해 발생하는 비미분 가능 최적화 문제를 효율적으로 해결하기 위해 전진-후진 분할(FOBOS)을 적용한다.
• 입력 신호 분산에 기반하여 공명 기반 기준을 도입하여 동적으로 새로운 사전 원소를 선택하고 오래된 원소를 제거한다.
• 기대 가중치 벡터의 수렴을 분석함으로써 알고리즘의 평균 안정성을 보장하는 스텝 사이즈 조건(식 58)을 유도한다.
• 온라인 이중 단계 프로세스를 구현한다: (1) 공명 임계값 기반 사전 업데이트, (2) ℓ₁-정규화를 적용한 FOBOS를 통한 파rameter 업데이트.

실험 결과

연구 질문

• RQ1 사전 원소와 입력 데이터 간의 부분적인 통계적 불일치가 커널 LMS의 수렴에 어떤 영향을 미치는가?
• RQ2 시간에 따라 변화하는 사전를 갖는 온라인 커널 LMS에서 평균 안정성을 보장하는 조건은 무엇인가?
• RQ3 전진-후진 분할에 ℓ₁-정규화를 적용하면 비정상적인 환경에서 사전 크기를 효과적으로 제어하고 성능을 유지할 수 있는가?
• RQ4 동적 사전 업데이트 메커니즘은 희소성 및 추적 능력 측면에서 정적 또는 고정 크기 사전 접근 방식과 비교해 어떻게 다를까?
• RQ5 입력 신호 분산 변화가 온라인 커널 필터링에서 사전 크기와 학습 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 FOBOS-KLMS 알고리즘은 입력 신호 특성에 기반하여 새로운 원소를 동적으로 추가하고 오래된 원소를 제거함으로써 희소 사전을 유지한다.
• 시뮬레이션 결과는 알고리즘이 성능 저하 없이 필터 순서를 크게 감소시킴을 보여주며, 특히 입력 분산이 급격히 변화할 경우 두드러진다.
• 입력 분산이 증가할 경우 표준 KLMS는 공명 기준에 따라 사전 크기가 급격히 증가하지만, FOBOS-KLMS는 훨씬 더 작고 적응적인 크기를 유지한다.
• 입력 분산이 감소하는 상황에서는 표준 KLMS가 불필요하게 원소를 계속 추가하지만, FOBOS-KLMS는 업데이트를 멈추고 희소성을 유지한다.
• 이론적 분석을 통해 스텝 사이즈가 조건(58)을 만족할 경우 알고리즘이 평균적으로 수렴함을 확인하였으며, 이는 업데이트 행렬의 스펙트럼 노름이 1보다 작아지는 것을 보장한다.
• FOBOS-KLMS 알고리즘은 입력 분산 증가 및 감소 상황 모두에서 안정된 성능을 달성하여 비정상적 입력에 대한 강건성을 입증한다.