[論文レビュー] Protocols for Learning Classifiers on Distributed Data

Hal Daumé, Jeff M. Phillips+2 more|arXiv (Cornell University)|Feb 27, 2012

Machine Learning and Algorithms参考文献 17被引用数 5

ひとこと要約

本稿では、分散データ上で分類器を学習するための通信効率の高いプロトコルを提案する。ノード間の能動的通信を活用し、データ転送を最小限に抑える。特に線形分離器に対して、片方向手法と比較して指数的通信削減を達成する双方向プロトコルを導入し、敵対的分布下で $\varepsilon$-誤差分類器の通信複雑性が $O(\log 1/\varepsilon)$ であることを証明する。

ABSTRACT

We consider the problem of learning classifiers for labeled data that has been distributed across several nodes. Our goal is to find a single classifier, with small approximation error, across all datasets while minimizing the communication between nodes. This setting models real-world communication bottlenecks in the processing of massive distributed datasets. We present several very general sampling-based solutions as well as some two-way protocols which have a provable exponential speed-up over any one-way protocol. We focus on core problems for noiseless data distributed across two or more nodes. The techniques we introduce are reminiscent of active learning, but rather than actively probing labels, nodes actively communicate with each other, each node simultaneously learning the important data from another node.

研究の動機と目的

• データが複数のノードに分散配置される分散機械学習における通信ボトルネックを解消すること。
• グローバルデータセット上で低近似誤差を達成する分類器を保証しつつ、ノード間通信を最小限に抑えること。
• 単なる局所モデルの集約を越えて、ノード間で能動的かつ双方向の情報交換を可能にするプロトコルの開発。
• 敵対的データ分布下での片方向および双方向通信モデルの通信複雑性の明示的境界を確立すること。
• 双方向プロトコルが、特に線形分離器の学習において、片方向プロトコルと比較して通信コストを指数的に削減できることを示すこと。

提案手法

• 通信を限られたリソースとみなして、分散分類を通信複雑性問題として形式化する。
• 反復的にサポートポイントと分類器フィードバックを交換することでグローバル分類器を精緻化する、双方向プロトコル「IterativeSupport」を導入する。
• 送信ビットあたりの学習的価値を最大限に高めるために、サポートポイントやマージン情報といった注意深く選ばれたデータ記述子を用いる。
• 能動的学習の原則を分散環境に応用：ノードが標的的な通信を通じて互いのデータから能動的にプローブし、学習を行う。
• インデクシング問題への還元を用いて下界を証明し、片方向プロトコルにおける通信の本質的限界を示す。
• 敵対的およびi.i.d.データモデル下での、さまざまな仮説クラス（しきい値、軸に平行な長方形、超平面）の通信複雑性を分析する。

実験結果

リサーチクエスチョン

• RQ1 双方向通信プロトコルは、分散学習において片方向プロトコルと比較して顕著に低い通信複雑性を達成できるか？
• RQ2 分散かつ敵対的データ上で $\varepsilon$-近似誤差を持つ分類器を学習するために必要な最小通信量は何か？
• RQ3 どの仮説クラス（例：超平面、しきい値）に対して、定数または対数的通信量で正確または近似的最適な分類器を学習できるか？
• RQ4 通信複雑性は、所望の誤差 $\varepsilon$ および参加者数 $k$ に対してどのようにスケーリングされるか？
• RQ5 能動的かつ双方向通信は、特に線形分離器において、片方向プロトコルと比較して通信コストを指数的に削減できるか？

主な発見

• 双方向通信プロトコルは、$\varepsilon$-誤差線形分類器を学習する際、$O(\log 1/\varepsilon)$ の通信複雑性を達成し、片方向プロトコルの $\Omega(1/\varepsilon)$ の下界と比較して指数的改善を実現する。
• しきい値および軸に平行な長方形に対しては、データサイズに依存せず、定数通信量で正確な分類器（$0$-誤差）を学習可能である。
• 超平面に対しては、片方向プロトコルが $\Omega(1/\varepsilon)$ の通信量を要し、区間および長方形に対して完全分類器の存在を検出するには $\Omega(|D_A|)$ の通信量が必要である。
• インデクシング問題への還元により、片方向プロトコルでは区間または長方形の完全分類器の検出にサブ線形通信量では不可能であることが示された。
• IterativeSupportプロトコルにより、2人の参加者間で双方向通信が行われ、たった $O(\log 1/\varepsilon)$ ビットの通信で $\varepsilon$-誤差分類器に収束可能である。
• $k$ 人の参加者に対しては、双方向プロトコルの通信量は $O(k^2 \log 1/\varepsilon)$ にスケーリングされ、片方向手法と比較して指数的利点を維持しながらスケーラビリティを示している。