[論文レビュー] Finite Dictionary Variants of the Diffusion KLMS Algorithm

Rangeet Mitra, Vimal Bhatia|arXiv (Cornell University)|Sep 9, 2015

Advanced Adaptive Filtering Techniques被引用数 3

ひとこと要約

本稿では、従来の拡散KLMSにおける無限の記憶容量要件を解決するために、有限辞書型の拡散カーネル最小平均二乗（KLMS）アルゴリズムの2つの変種——量子化拡散KLMS（QDKLMS）と固定予算拡散KLMS（FBDKLMS）——を提案する。オンラインベクトル量子化と動的辞書の刈り込みを用いることで、両アルゴリズムは、ノードの記憶容量が限られたネットワークにおける分散非線形学習において、高速な収束と低記憶量を実現しながら、高い性能を維持する。

ABSTRACT

The diffusion based distributed learning approaches have been found to be a viable solution for learning over linearly separable datasets over a network. However, approaches till date are suitable for linearly separable datasets and need to be extended to scenarios in which we need to learn a non-linearity. In such scenarios, the recently proposed diffusion kernel least mean squares (KLMS) has been found to be performing better than diffusion least mean squares (LMS). The drawback of diffusion KLMS is that it requires infinite storage for observations (also called dictionary). This paper formulates the diffusion KLMS in a fixed budget setting such that the storage requirement is curtailed while maintaining appreciable performance in terms of convergence. Simulations have been carried out to validate the two newly proposed algorithms named as quantised diffusion KLMS (QDKLMS) and fixed budget diffusion KLMS (FBDKLMS) against KLMS, which indicate that both the proposed algorithms deliver better performance as compared to the KLMS while reducing the dictionary size storage requirement.

研究の動機と目的

• 分散非線形学習における拡散KLMSの無限辞書記憶要件という重要な制限を克服すること。
• 無線センサーネットワークなどのリソース制約のあるネットワークにおける拡散KLMSの実用的導入を可能にすること。
• 収束速度と精度を保持しつつ、ノードごとの記憶量と計算負荷を低減する有限辞書メカニズムの開発。
• 非線形で分離不能なデータ環境における分散カーネル適応フィルタリングのスケーラブルで頑健なソリューションの提供。
• 辞書サイズを制限しても学習性能を損なわないようにすることで、実世界のシステムとの互換性を確保すること。

提案手法

• QDKLMSを導入し、各ノードの局所的辞書のサイズを動的に更新・制限するためにオンラインベクトル量子化を用いる。
• FBDKLMSを実装し、仮説への寄与度に基づいて最小の寄与度を持つ辞書要素を再帰的に刈り込むことで、固定された辞書予算を維持する。
• カーネルトリックを適用してデータを再生核ヒルバート空間（RKHS）にマップし、非線形な意思決定境界を推定する。
• 拡散戦略を統合して、ノードが隣接ノードからの重み付き情報と局所的推定値を組み合わせることで、収束性と頑健性を向上させる。
• FBDKLMSでは、全体の仮説に与える影響が最小の辞書要素を除去する重要度に基づく刈り込みを実装し、適応性と効率性を確保する。
• カーネル幅選択にはSilvermanのルールを適用し、一貫性のある比較のためステップサイズを0.1に固定する。

実験結果

リサーチクエスチョン

• RQ1 分散ネットワーク環境において、拡散KLMSの無限辞書要件を学習性能を劣化させることなく効果的に軽減できるか？
• RQ2 非線形で分離不能なデータ分布下で、QDKLMSとFBDKLMSの収束速度、定常状態誤差、および辞書サイズの観点での比較は？
• RQ3 ネットワークサイズの拡大が、提案アルゴリズムの性能および記憶効率に与える影響は？
• RQ4 有限辞書型バージョンは、記憶オーバーヘッドを低減しつつ、標準の拡散KLMSと同等またはそれ以上の収束速度を維持または向上できるか？
• RQ5 FBDKLMSにおける重要度に基づく刈り込み機構と、QDKLMSにおける量子化に基づく更新機構の間で、記憶効率と誤差フロアの観点からどのように比較できるか？

主な発見

• QDKLMSおよびFBDKLMSは、非定常チャネル、ムーン型、スパイラルデータセットにおいて、標準の拡散KLMSよりも高速な収束を達成する。
• FBDKLMSは、特に小さなネットワークにおいて、QDKLMSよりも一貫して小さい辞書サイズに収束するが、性能は同等またはそれ以上を維持する。
• 非定常等化チャネルにおいて、両提案アルゴリズムはKLMSよりも高速な過渡応答と低い定常状態平均二乗誤差（MSE）を示す。
• ムーン型およびスパイラルデータセットにおいて、ネットワークサイズが増加するに従い、FBDKLMSはQDKLMSよりも低い誤差フロアと小さな辞書サイズを達成する。
• ネットワークサイズが増加するにつれて、QDKLMSおよびFBDKLMSの両方とも、収束したMSEフロアに減少傾向を示し、スケーラビリティと頑健性を示している。
• 200回のモンテカルロ反復平均によるシミュレーションにより、FBDKLMSがQDKLMSよりも記憶効率が高く、実用的導入に優れていることが確認された。