[논문 리뷰] No-Trick (Treat) Kernel Adaptive Filtering using Deterministic Features

Kan Li, José C. Prı́ncipe|arXiv (Cornell University)|2019. 12. 10.

Advanced Adaptive Filtering Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 가우시안 구분법에 기반한 결정론적 특징 맵을 사용하여 트릭이 없는(NT) 커널 적응 필터링 프레임워크를 제안한다. 이는 다항식 정확한 비선형 특징을 구성하여 등가의 유한차원 재생 커널 힐버트 공간(RKHS)을 유도한다. 이 방법은 정규화된 푸리에 특징보다 정확도와 속도에서 뛰어나며, 특히 노이즈 조건에서 훨씬 낮은 계산 비용과 분산을 기록함으로써 더 뛰어난 일반화 및 강인성을 확보한다.

ABSTRACT

Kernel methods form a powerful, versatile, and theoretically-grounded unifying framework to solve nonlinear problems in signal processing and machine learning. The standard approach relies on the kernel trick to perform pairwise evaluations of a kernel function, which leads to scalability issues for large datasets due to its linear and superlinear growth with respect to the training data. A popular approach to tackle this problem, known as random Fourier features (RFFs), samples from a distribution to obtain the data-independent basis of a higher finite-dimensional feature space, where its dot product approximates the kernel function. Recently, deterministic, rather than random construction has been shown to outperform RFFs, by approximating the kernel in the frequency domain using Gaussian quadrature. In this paper, we view the dot product of these explicit mappings not as an approximation, but as an equivalent positive-definite kernel that induces a new finite-dimensional reproducing kernel Hilbert space (RKHS). This opens the door to no-trick (NT) online kernel adaptive filtering (KAF) that is scalable and robust. Random features are prone to large variances in performance, especially for smaller dimensions. Here, we focus on deterministic feature-map construction based on polynomial-exact solutions and show their superiority over random constructions. Without loss of generality, we apply this approach to classical adaptive filtering algorithms and validate the methodology to show that deterministic features are faster to generate and outperform state-of-the-art kernel methods based on random Fourier features.

연구 동기 및 목표

• 대규모 데이터셋에서 커널 적응 필터링(KAF)의 확장성과 높은 분산 문제를 해결하기 위해.
• 주어진 차수 이내의 다항식을 정확히 통합할 수 있는 결정론적, 데이터에 의존하지 않는 특징 맵 구축 방법을 개발하여 주파수 도메인에서 커널의 다항식 정확한 근사치를 확보하기 위해.
• 명시적 특징 맵이 유한차원 RKHS에서 등가의 양의 정부호 커널을 정의할 수 있음을 보여주어 커널 트릭 없이도 확장 가능한 온라인 KAF를 가능하게 하기 위해.
• 수렴 속도, 노이즈에 대한 강인성, 계산 효율성 측면에서 랜덤 푸리에 특징(RFFs)에 비해 결정론적 특징의 우수성을 입증하기 위해.
• 표준 KAF 알고리즘인 KLMS 및 KRLS에 대한 트릭이 없는 프레임워크를 확장하여 자원 사용을 줄이며 최신 성능을 달성하기 위해.

제안 방법

• 가우시안 구분법을 사용하여 주어진 차수 이내의 다항식을 정확히 통합할 수 있는 결정론적 특징 맵을 구성함으로써 주파수 도메인에서 높은 정확도의 커널 근사치를 확보한다.
• 명시적 특징 맵의 내적을 등가의 양의 정부호 커널로 간주하여 다항식 정확한 근사치를 보장하는 유한차원 RKHS를 유도한다.
• 표준 커널 적응 필터링 알고리즘(KLMS, KRLS 등)에 결정론적 특징 맵을 적용하여 커널 트릭 대신 명시적 특징 계산을 수행한다.
• 다항식 정확한 해를 사용하여 근사 오차를 최소화하고 RFFs가 내재하는 확률적 분산을 제거한다.
• 실험 전반에서 일관된 비교를 위해 유한차원 RKHS의 차원 수(D=330)를 고정한다.
• 다양한 노이즈 수준과 카오스적 시계열에서 학습 곡선, 테스트 세트의 MSE, CPU 시간 측정을 통해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 가우시안 구분법에 기반한 결정론적 특징 맵은 커널 적응 필터링에서 수렴 속도와 정확도 측면에서 랜덤 푸리에 특징을 능가할 수 있는가?
• RQ2 명시적 특징 맵을 유한차원 RKHS에서 등가의 커널로 간주하는 트릭이 없는 접근 방식은 커널 트릭 없이도 확장 가능하고 강인한 온라인 KAF를 가능하게 하는가?
• RQ3 노이즈 조건과 다양한 신호 대 잡음 비율에서 결정론적 특징의 성능은 RFFs 및 전통적 KAF 방법과 비교해 어떻게 되는가?
• RQ4 고정 예산 QKLMS와 같은 프루닝 기반 방법은 중심을 제거한 후 일반화 성능이 떨어지는 정도는 어느 정도인가?
• RQ5 결정론적 특징 구축 방법은 성능 향상을 위해 재귀적 최소 제곱법(RLS) 기반 KAF 알고리즘으로 효과적으로 확장될 수 있는가?

주요 결과

• 청정 조건에서 제안된 가우시안 구분법 기반 트릭이 없는 커널 적응 필터링(NT-KLMS-GQ)은 테스트 세트 MSE 0.0019 ± 0.0003을 기록하여 KLMS 및 QKLMS를 능가했다.
• 14 dB SNR 조건에서 NT-KLMS-GQ는 테스트 MSE 0.0142 ± 0.0028을 기록했으며, 자원 사용을 훨씬 줄였음에도 불구하고 QKLMS 및 KLMS와 동등한 성능를 보였다.
• 8 dB SNR 조건에서 NT-KLMS-GQ는 테스트 MSE 0.0351 ± 0.0080을 기록했으며, RFF 기반 변형보다 뛰어난 성능를 보였고, KLMS 및 QKLMS의 성능에 근접했다.
• 결정론적 특징 맵 생성은 RFFs보다 빠르며, 시험 간 성능 분산이 크게 낮았다.
• KRLS를 사용한 카오스적 시계열 예측에서 트릭이 없는 KRLS는 가우시안 구분법 기반 특징을 사용하여 모든 다른 트릭이 없는 KAF 변형 및 기준 모델보다 수렴 속도와 정확도에서 뛰어났다.
• 프루닝 기반 방법인 고정 예산 QKLMS는 중심을 제거한 후 성능 저하를 겪었으며, 제안된 결정론적 접근의 강인성 우수성을 입증했다.