[論文レビュー] No-Trick (Treat) Kernel Adaptive Filtering using Deterministic Features

Kan Li, José C. Prı́ncipe|arXiv (Cornell University)|Dec 10, 2019

Advanced Adaptive Filtering Techniques参考文献 27被引用数 5

ひとこと要約

本稿では、ガウス求積に基づく決定的特徴マップを用いた、いわゆるノートリック（NT）カーネル適応フィルタリングフレームワークを提案する。この手法は、多項式の正確な表現を実現する明示的で多項式正確な非線形特徴を構築し、同等の有限次元の再生核ヒルベルト空間（RKHS）を誘導する。この方法は、ランダムフォーリエ特徴（RFF）よりも精度と速度に優れ、特にノイズが多い条件下でも顕著に低い計算コストと分散で優れた汎化性能とロバスト性を達成する。

ABSTRACT

Kernel methods form a powerful, versatile, and theoretically-grounded unifying framework to solve nonlinear problems in signal processing and machine learning. The standard approach relies on the kernel trick to perform pairwise evaluations of a kernel function, which leads to scalability issues for large datasets due to its linear and superlinear growth with respect to the training data. A popular approach to tackle this problem, known as random Fourier features (RFFs), samples from a distribution to obtain the data-independent basis of a higher finite-dimensional feature space, where its dot product approximates the kernel function. Recently, deterministic, rather than random construction has been shown to outperform RFFs, by approximating the kernel in the frequency domain using Gaussian quadrature. In this paper, we view the dot product of these explicit mappings not as an approximation, but as an equivalent positive-definite kernel that induces a new finite-dimensional reproducing kernel Hilbert space (RKHS). This opens the door to no-trick (NT) online kernel adaptive filtering (KAF) that is scalable and robust. Random features are prone to large variances in performance, especially for smaller dimensions. Here, we focus on deterministic feature-map construction based on polynomial-exact solutions and show their superiority over random constructions. Without loss of generality, we apply this approach to classical adaptive filtering algorithms and validate the methodology to show that deterministic features are faster to generate and outperform state-of-the-art kernel methods based on random Fourier features.

研究の動機と目的

• 大規模データセットにおけるカーネル適応フィルタリング（KAF）におけるランダムフォーリエ特徴（RFF）のスケーラビリティと高い分散の問題に対処すること。
• 周波数ドメインにおけるカーネルの多項式正確近似を保証する、決定的でデータに依存しない特徴マップ構築法を開発すること。
• 明示的特徴マッピングが有限次元のRKHSにおける同等の正定値カーネルを定義できることを示し、カーネルトリックを用いずにスケーラブルなオンラインKAFを可能にすること。
• 収束速度、ノイズへのロバスト性、計算効率の観点から、RFFと比較して決定的特徴の優位性を実証すること。
• ノートリックフレームワークをKLMSやKRLSといった標準的なKAFアルゴリズムに拡張し、リソース使用量を削減しつつ最先端の性能を達成すること。

提案手法

• ガウス求積を用いて、指定された次数までの多項式を正確に積分できる決定的特徴マップを構築し、周波数ドメインにおける高精度なカーネル近似を実現する。
• 明示的特徴マップの内積を、普遍的近似能力を持つ有限次元のRKHSを誘導する同等の正定値カーネルとして解釈する。
• 標準的なカーネル適応フィルタリングアルゴリズム（例：KLMS、KRLS）に決定的特徴マップを適用し、カーネルトリックの代わりに明示的特徴計算を実行する。
• 多項式正確な解を用いることで近似誤差を最小化し、RFFに内在する確率的分散を排除する。
• RFFベースおよび従来のKAF手法との公平な比較を確保するため、実験全体で固定されたRKHS次元（D=330）を用いる。
• 複数のノイズレベルとカオス的時系列を用いた学習曲線、テスト集合のMSE、CPU時間測定を用いて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 ガウス求積に基づく決定的特徴マップは、収束速度と精度の観点で、カーネル適応フィルタリングにおけるRFFを上回ることができるか？
• RQ2 明示的特徴マップを有限次元のRKHSにおける同等のカーネルとして扱うノートリックアプローチは、カーネルトリックを用いずにスケーラブルでロバストなオンラインKAFを可能にするか？
• RQ3 ノイズ条件や変動する信号対雑音比（SNR）下で、決定的特徴はRFFおよび従来のKAF手法と比較してどのように性能を発揮するか？
• RQ4 固定予算QKLMSのようなプリーニングベースの手法は、中心の削除後に一般化性能が著しく低下するが、本稿で提案するノートリックフレームワークはその点で優位性を示すか？
• RQ5 決定的特徴構築法は、リグレッション最小二乗（RLS）に基づくKAFアルゴリズムへ効果的に拡張可能か？

主な発見

• クリーンな条件下で、ガウス求積に基づくノートリックKLMS（NT-KLMS-GQ）は、テスト集合MSEが0.0019 ± 0.0003にまで低下し、KLMSやQKLMSをも上回った。
• 14 dB SNR条件下でも、NT-KLMS-GQはテストMSEが0.0142 ± 0.0028にまで低下し、QKLMSやKLMSと同等の性能を示したが、はるかに少ないリソースを要した。
• 8 dB SNR条件下では、NT-KLMS-GQのテストMSEは0.0351 ± 0.0080にまで低下し、RFFベースの変種を上回り、KLMSやQKLMSに近い性能を達成した。
• 決定的特徴マップの生成はRFFよりも高速であり、試行間での性能の分散も顕著に低かった。
• KRLSを用いたカオス的時系列予測において、ガウス求積特徴を用いたノートリックKRLSは、他のノートリックKAF変種およびベースラインをすべて上回り、収束速度と精度の両面で優れた性能を示した。
• プリーニングベースの手法（例：Fixed-Budget QKLMS）は、中心を削除した後、性能が著しく低下する傾向にあり、本稿で提案する決定的アプローチのロバスト性の優位性が裏付けられた。