[論文レビュー] Distributed Multitask Learning

Jialei Wang, Mladen Kolar+1 more|arXiv (Cornell University)|Oct 2, 2015

Sparse and Compressive Sensing Techniques参考文献 34被引用数 6

ひとこと要約

本稿では、通信効率の高い分散マルチタスク学習アルゴリズムであるDSMLを提案する。この手法は、補正付きlasso推定量を用いることで、集中型グループlasso手法と同等の性能を達成する。通信は1ラウンドのみを要し、各マシンがベクトルを送信し、共有サポート集合を受信する。弱い条件下でも、集中型手法と同等の主要な理論的保証を達成する。

ABSTRACT

We consider the problem of distributed multi-task learning, where each machine learns a separate, but related, task. Specifically, each machine learns a linear predictor in high-dimensional space,where all tasks share the same small support. We present a communication-efficient estimator based on the debiased lasso and show that it is comparable with the optimal centralized method.

研究の動機と目的

• 通信コストが高いため、データとタスクが複数のマシンに分散している分散マルチタスク学習の課題に対処すること。
• 集中型グループlassoの統計的効率を維持しつつ、通信負荷を最小限に抑える手法を開発すること。
• 現実的な仮定の下で、集中型手法と同等の理論的保証を備えたサポート回復とパラメータ推定を達成すること。
• すべてのタスクが共通のスパースサポートを持つ高次元設定において、スケーラブルで通信効率の高い学習を可能にすること。
• マルチタスク学習の適用範囲を、統計的精度を損なわずに大規模分散システムへ拡張すること。

提案手法

• 高次元空間におけるタスク固有の予測子を推定するために、補正付きlasso推定量を用いる1ラウンド分散アルゴリズムであるDSMLを提案する。
• 各ワーカーは局所的な補正付きlasso推定値を計算し、係数ベクトルを中央ノードに送信する。
• 中央ノードはこれらの推定値を統合し、一般化整合性条件を用いてグローバルなサポート集合を計算する。
• 最終的な推定量は、共有サポートに基づいて統合推定値をハードスレッショーティングすることで得られ、推定精度が向上する。
• 制限固有値および一般化整合性条件を活用して、理論的整合性と最適な誤差率を保証する。
• 補正付きlassoフレームワークを統合し、グループlasso推定値のバイアスを是正することで、正確な推論とサポート回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 通信コストを最小限に抑えた分散マルチタスク学習手法は、集中型グループlassoと同等の統計的性能を達成できるか？
• RQ2 共有スパarsityを持つマルチタスク学習において、サポート回復とパラメータ推定の精度を維持するために必要な最小通信コストは何か？
• RQ3 高次元設定下で、DSMLはローカルlassoおよび集中型グループlassoと比較して、推定誤差および予測誤差においてどのように異なるか？
• RQ4 DSMLはどのような条件下で、集中型手法と同等の主要誤差率を達成するか？
• RQ5 通信効率の良いアプローチは、共有スパarsityを超えた他の構造的スパarsityモデルへも拡張可能か？

主な発見

• DSMLは、一般化整合性および制限固有値条件の下で、集中型グループlassoと同等の主要誤差率を達成する：$\frac{|S|}{\sqrt{n}}\sqrt{1+\frac{\log p}{m}} + \frac{|S|^2\log p}{n}$。
• DSMLの予測誤差は、高次項を除いて集中型グループlassoと一致する：$\frac{|S|}{n}\left(1+\frac{\log p}{m}\right) + \frac{|S|^3(\log p)^2}{n^2}$。
• DSMLは、最小信号強度 $\sqrt{\frac{1}{n}\left(1+\frac{\log p}{m}\right)} + \frac{|S|\log p}{n}$ で真のサポートを回復でき、弱い仮定の下でグループlassoのレートに一致する。
• 実験結果では、DSMLはリファittingグループlassoとほぼ同等の性能を示し、特にタスク数が増加するにつれてローカルlassoを著しく上回る。
• 実世界のデータセット（School, Protein, OCR, MNIST, USPS, Vehicle）において、DSMLは10–50%のデータで学習した場合でも、集中型手法と同等の予測誤差および推定誤差を達成する。
• 通信量が限られている状況でも強力な性能を維持し、1ラウンドあたり $\mathcal{O}(p)$ の通信コストで済み、タスク数の増加に伴い良好にスケーリングする。