[論文レビュー] COKE: Communication-Censored Decentralized Kernel Learning

Ping Xu, Yue Wang+2 more|arXiv (Cornell University)|Jan 28, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 78被引用数 6

ひとこと要約

本稿では、通信を制限する分散型カーネル学習アルゴリズムCOKEを提案する。COKEは、データに依存しないパrameterの一致を実現するためのランダム特徴量近似を用い、生データの交換を回避する。ADMMと通信遮断機構を統合することで、線形収束性と通信効率を向上させつつ、分散型非パラメトリック学習における一般化性能を維持する。

ABSTRACT

This paper studies the decentralized optimization and learning problem where multiple interconnected agents aim to learn an optimal decision function defined over a reproducing kernel Hilbert space by jointly minimizing a global objective function, with access to their own locally observed dataset. As a non-parametric approach, kernel learning faces a major challenge in distributed implementation: the decision variables of local objective functions are data-dependent and thus cannot be optimized under the decentralized consensus framework without any raw data exchange among agents. To circumvent this major challenge, we leverage the random feature (RF) approximation approach to enable consensus on the function modeled in the RF space by data-independent parameters across different agents. We then design an iterative algorithm, termed DKLA, for fast-convergent implementation via ADMM. Based on DKLA, we further develop a communication-censored kernel learning (COKE) algorithm that reduces the communication load of DKLA by preventing an agent from transmitting at every iteration unless its local updates are deemed informative. Theoretical results in terms of linear convergence guarantee and generalization performance analysis of DKLA and COKE are provided. Comprehensive tests on both synthetic and real datasets are conducted to verify the communication efficiency and learning effectiveness of COKE.

研究の動機と目的

• プライバシー制約および通信制約の下で、エージェント間で生データを共有できない分散型非パラメトリック学習の課題に対処すること。
• 分散型コンSENSUSフレームワークにおけるカーネル法の意思決定変数のデータ依存性を、ランダム特徴量近似を用いて克服すること。
• 収束性や一般化性能を損なわずに、分散型カーネル学習における通信負荷を低減すること。
• 更新が有用であると判断された場合にのみ送信する通信遮断メカニズムを設計し、帯域制限のあるネットワークにおける効率を向上させること。
• ベースのDKLAおよびCOKEアルゴリズムに対して、線形収束性と一般化性能を理論的に保証すること。

提案手法

• データに依存しない特徴空間へのマッピングを可能にするランダム特徴量（RF）近似を用い、生データを共有せずにモデルパラメータの一致を実現する。
• ADMMフレームワークを用いて分散型カーネル学習問題をコンセンサス最適化問題として定式化し、分散型カーネル学習アルゴリズム（DKLA）を導出する。
• COKEに通信遮断機構を導入し、送信前の更新の有用性を評価することで通信負荷を低減する。
• 理論的解析を適用して、DKLAおよびCOKEの線形収束性を証明し、近似誤差と一般化性能の境界を示す。
• 再現定理とカーネル近似を活用し、RFに基づくモデルが真のRKHS解に近いまま保たれることを保証する。
• 正則化と射影作用素の組み合わせを用いて、正則化パrameter λ およびランダム特徴量の数 T に基づく一般化誤差の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 エージェント間で生データを共有せずに、分散型カーネル学習を実現できるか。その際、収束性と一般化性能が維持されるか。
• RQ2 分散型カーネル学習における通信負荷を、学習性能を低下させることなく低減できるか。
• RQ3 ADMMフレームワーク下で、提案された分散型カーネル学習アルゴリズムの収束速度はいかほどか。
• RQ4 ランダム特徴量マッピングによって生じる近似誤差は、一般化性能にどのように影響するか。
• RQ5 更新が有用である場合にのみ送信する通信遮断戦略を設計でき、効率性が向上するか。

主な発見

• COKEは最適解への線形収束性を達成し、収束速度と近似誤差に関する理論的保証を有する。
• ランダム特徴量マッピングによる近似誤差は、O(1/√T) で有界であり、T はランダム特徴量の数を表す。
• 一般化誤差は 3λ + O(1/√T) で有界であり、十分な数のランダム特徴量があれば良好な性能を維持できることを示す。
• COKEに組み込まれた通信遮断機構により、送信回数が顕著に削減され、収束性や精度に悪影響を及げない。
• 合成データおよび実データを用いた包括的な実験により、COKEがベースライン手法に比べ通信効率と学習効果の両面で優れていることが確認された。
• 理論的解析により、DKLAおよびCOKEは標準的な仮定の下で線形収束性を維持し、誤差項が正則化と特徴量次元によって制御されることを示した。