[論文レビュー] COKE: Communication-Censored Kernel Learning for Decentralized Non-parametric Learning.

Ping Xu, Yue Wang+2 more|arXiv (Cornell University)|Jan 28, 2020

Distributed Sensor Networks and Detection Algorithms被引用数 8

ひとこと要約

COKEは、非パラメトリックな分散学習のための通信遮断型カーネル学習フレームワークを提案する。ランダム特徴量近似を用いることで、生データを共有せずにサイズが一様なパラメータの交換と合意形成を可能にし、適応的送信を組み込んだADMM（交替方向乗数法）に基づくアルゴリズムにより線形収束性と優れた通信効率を達成した。合成データおよび実データ上で検証された。

ABSTRACT

This paper studies the decentralized optimization and learning problem where multiple interconnected agents aim to learn an optimal decision function defined over a reproducing kernel Hilbert (RKH) space by jointly minimizing a global objective function, with access to locally observed data only. As a non-parametric approach, kernel learning faces a major challenge in distributed implementation: the decision variables of local objective functions are data-dependent with different sizes and thus cannot be optimized under the decentralized consensus framework without any raw data exchange among agents. To circumvent this major challenge and preserve data privacy, we leverage the random feature (RF) approximation approach to map the large-volume data represented in the RKH space into a smaller RF space, which facilitates the same-size parameter exchange and enables distributed agents to reach consensus on the function decided by the parameters in the RF space. For fast convergent implementation, we design an iterative algorithm for Decentralized Kernel Learning via Alternating direction method of multipliers (DKLA). Further, we develop a COmmunication-censored KErnel learning (COKE) algorithm to reduce the communication load in DKLA. To do so, we apply a communication-censoring strategy, which prevents an agent from transmitting at every iteration unless its local updates are deemed informative. Theoretical results in terms of linear convergence guarantee and generalization performance analysis of DKLA and COKE are provided. Comprehensive tests with both synthetic and real datasets are conducted to verify the communication efficiency and learning effectiveness of COKE.

研究の動機と目的

• 局所的意思決定変数がデータに依存し、サイズが異なる分散非パラメトリック学習の課題に対処する。
• 生データの共有を回避する分散合意形成の障壁を乗り越え、ランダム特徴量近似によるパラメータ交換を可能にする。
• 分散カーネル学習における通信負荷を低減しながら、収束性と一般化性能を維持する。
• 更新が情報的であると判断された場合にのみ伝送する通信遮断戦略を設計し、効率性を向上させる。
• 提案された通信遮断型分散カーネル学習フレームワークにおける収束性と一般化性能に関する理論的保証を提供する。

提案手法

• 再帰的ヒルベルト空間（RKHS）における高次元データを、ランダム特徴量（RF）近似により低次元のRF空間に写像し、エージェント間での均一なサイズのパラメータ交換を可能にする。
• RF空間上での合意形成問題を解くために、ADMMに基づく最適化フレームワーク（DKLA）を用いて分散カーネル学習問題を定式化する。
• 局所的更新の情報量を事前に評価する通信遮断メカニズムを導入し、不要な通信を削減する。
• 変化の大きさが直前の反復と比較して閾値を超えるかどうかに基づき、エージェントが更新パラメータを送信すべきかどうかを判断する基準を採用する。
• 収束性を維持しながら通信ラウンド数を最小限に抑えるために、遮断戦略をADMMフレームワークに統合する。
• RKHSとRF近似の構造を活用し、RF空間での合意が元のカーネル空間における有効な意思決定関数に対応することを保証する。

実験結果

リサーチクエスチョン

• RQ1 データ依存のパラメータを共通サイズの表現に変換することで、生データを共有せずに分散カーネル学習を可能にするランダム特徴量近似は有効か？
• RQ2 提案されたDKLAアルゴリズムは、ADMMフレームワーク下で分散カーネル学習において線形収束を達成するか？
• RQ3 COKEにおける通信遮断戦略は、学習性能を劣化させることなく、通信負荷をどの程度低減できるか？
• RQ4 COKEは、ベースラインの分散学習手法と比較して、収束速度および一般化誤差の点で優れているか？
• RQ5 提案された通信遮断型分散カーネル学習フレームワークにおける収束性と一般化性能に、どのような理論的保証を提供できるか？

主な発見

• COKEは、ADMMフレームワーク下で分散カーネル学習問題に対して線形収束を達成し、DKLAおよびCOKEの両者に対して理論的保証が与えられた。
• COKEにおける通信遮断戦略は、1反復あたりの送信回数を顕著に削減し、収束に影響を与えることなく通信効率を向上させた。
• 合成データおよび実データ上での実験的評価により、COKEは非遮断ベースラインと比較して通信負荷を低減しながらも高い学習精度を維持した。
• ランダム特徴量近似は、元のカーネル法の一般化性能を保持しており、RF空間における効果的な学習を可能にした。
• COKEは多様なデータ分布およびネットワークトポロジーにおいても頑健な性能を示し、スケーラビリティとプライバシー保護特性を確認した。
• 理論的分析により、COKEの一般化誤差が有界であり、集中型カーネル学習と同等の水準にあることが確認され、分散環境下での有効性が裏付けられた。