[論文レビュー] Distributed Online Learning with Multiple Kernels

Jeongmin Chae, Song‐Nam Hong|arXiv (Cornell University)|Feb 25, 2021

Advanced Adaptive Filtering Techniques被引用数 4

ひとこと要約

本稿では、IoTネットワークにおけるストリーミングデータ向けに、複数のカーネルを備えた完全に分散型のオンライン学習フレームワークであるDOMKLを提案する。オンラインADMMと分散型ヘッジアルゴリズムを組み合わせることで、各ノードが時間とともに減少する誤差で共有の非線形関数を学習しつつ、データの機微性を保証する${\cal O}(\sqrt{T})$のレジレットバウンドを達成する。

ABSTRACT

We consider the problem of learning a nonlinear function over a network of learners in a fully decentralized fashion. Online learning is additionally assumed, where every learner receives continuous streaming data locally. This learning model is called a fully distributed online learning (or a fully decentralized online federated learning). For this model, we propose a novel learning framework with multiple kernels, which is named DOMKL. The proposed DOMKL is devised by harnessing the principles of an online alternating direction method of multipliers and a distributed Hedge algorithm. We theoretically prove that DOMKL over T time slots can achieve an optimal sublinear regret, implying that every learner in the network can learn a common function which has a diminishing gap from the best function in hindsight. Our analysis also reveals that DOMKL yields the same asymptotic performance of the state-of-the-art centralized approach while keeping local data at edge learners. Via numerical tests with real datasets, we demonstrate the effectiveness of the proposed DOMKL on various online regression and time-series prediction tasks.

研究の動機と目的

• ストリーミングデータの連続的流入に対して、非線形関数を分散型かつプライバシー保護的に学習する課題に対処すること。
• データを中央集約せずに複数カーネル学習（MKL）をサポートする分散型オンライン学習フレームワークを開発すること。
• 完全に分散型のネットワークにおいて、非線形なレジレットをサブライン形式で達成しつつ、ローカルのデータプライバシーを維持すること。
• スケーラブルでリアルタイムなパフォーマンスを実現する分散環境に、オンラインカーネル学習を拡張すること。

提案手法

• DOMKLは、分散ノード間での学習を調整するために、オンライン交替方向乗数法（ADMM）を採用する。
• 事前に定義されたP個のカーネルからなる辞書から、最適なカーネル組み合わせを動的に選択するため、分散型ヘッジアルゴリズムを統合する。
• 計算複雑性を低減し、オンライン更新を可能にするために、ランダム特徴近似を用いる。
• 各ノードは、モデルパラメータと双対変数の局所的推定値を維持し、合意形成と局所データに基づいて更新を行う。
• ADMMによる合意制約の強制と、指数的重み付けによるカーネル選択のバランスにより、収束を保証する。
• 理論的分析により、レジレットが${\cal O}(\sqrt{T})$の割合で増加することが証明され、中央集権型オンラインMKLの性能と一致する。

実験結果

リサーチクエスチョン

• RQ1 完全に分散型のオンライン学習システムは、複数のカーネルを用いて非線形関数学習においてサブライン形式のレジレットを達成できるか？
• RQ2 ストリーミングデータ下で、分散型かつプライバシー保護的な状況において、カーネル選択を動的に最適化できるか？
• RQ3 提案されたフレームワークは、データの中央集約なしに、中央集権型オンラインMKLの漸近的性能を再現できるか？
• RQ4 ネットワークトポロジーと通信制約は、分散型オンラインMKLの収束性とレジレットにどのような影響を与えるか？

主な発見

• DOMKLは、$T$時間スロットの間に最適なサブライン形式のレジレット${\cal O}(\sqrt{T})$を達成し、学習誤差が時間とともに減少することを保証する。
• フレームワークは、最先端の中央集権型オンライン複数カーネル学習手法の漸近的性能と一致する。
• 実データセットを用いた数値評価により、DOMKLのオンライン回帰および時系列予測タスクにおける有効性が確認された。
• アルゴリズムはエッジデバイスにローカルデータを保持するため、IoTアプリケーションにおける強いプライバシー要件を満たす。
• レジレットバウンドは、ホフディングの不等式とテレスコピング和の技法を用いて導出され、理論的収束性が裏付けられた。
• 特に$\eta_g = {\cal O}(\sqrt{T})$のパrameterチューニングにより、サブライン形式のレジレットが達成された。