[論文レビュー] Distributed Multi-Task Learning with Shared Representation

Jialei Wang, Mladen Kolar+1 more|arXiv (Cornell University)|Mar 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 16

ひとこと要約

本稿では、タスク間で共有される低ランク表現を活用する通信効率の高い分散型マルチタスク学習手法を提案する。DGSP や DNSP といった新規アルゴリズムを用いて、集中型の核ノルム正則化と同等の性能を維持しつつ通信ラウンド数を削減する。主な貢献は、特に DNSP において通信コストを顕著に削減することであり、一般化性能を損なわず、1次順の手法や1回打ち切りSVDアプローチを上回る。相関のある特徴設定において顕著な優位性を示す。

ABSTRACT

We study the problem of distributed multi-task learning with shared representation, where each machine aims to learn a separate, but related, task in an unknown shared low-dimensional subspaces, i.e. when the predictor matrix has low rank. We consider a setting where each task is handled by a different machine, with samples for the task available locally on the machine, and study communication-efficient methods for exploiting the shared structure.

研究の動機と目的

• 各マシンが異なるタスクのデータを保持する分散型マルチタスク学習の課題に取り組むこと。通信コストが高い状況を想定する。
• タスク間で共有される低次元部分空間を活用し、単一タスク学習を上回る一般化性能を向上させること。
• 予測子行列の低ランク構造を活用する通信効率の良い最適化手法を設計すること。
• グリーディな部分空間学習と2次情報を利用する新規アルゴリズムである DGSP および DNSP を開発・分析することにより、通信ラウンド数を削減すること。
• 回帰および分類タスクにおいて、提案手法をベースラインおよび1回打ち切りSVD断頭法と比較して実験的に評価すること。

提案手法

• 各マシンがタスク固有の予測子を学習する分散型マルチタスク学習フレームワークを提案。すべての予測子が共有される低ランク部分空間に制約される。
• 予測子行列に低ランク構造を誘導するため、核ノルム正則化を用いる。これにより、共有特徴の共同学習が可能になる。
• DGSP（Distributed Greedy Subspace Pursuit）および DNSP（Distributed Non-convex Subspace Pursuit）を導入。これらは1回打ち切りまたはグリーディな更新を用いて、反復的に共有部分空間を学習する。
• マスターワーカー型アーキテクチャを採用。ワーカーは局所的なERMまたは勾配計算を実行し、マスターに低次元表現のみを通信する。
• 通信ラウンドにわたり、低ランク構造を効率的に維持するため、SVD断頭法および主要な特徴ベクトルの計算を適用する。
• ADMM、ProxGD、AccProxGD、DFW をベースラインとして用い、通信および計算複雑度を分析する。

実験結果

リサーチクエスチョン

• RQ1 通信効率の良い分散型アルゴリズムは、共有される低ランク表現を持つ集中型マルチタスク学習と同等の性能を達成できるか？
• RQ2 DNSP が2次情報を利用する場合、1次順の手法と比較して通信効率にどのような影響を与えるか？
• RQ3 局所モデルの1回打ち切りSVD断頭法は、分散型マルチタスク学習における反復的通信の代替手段として有効か？
• RQ4 DGSP および DNSP のアルゴリズムは、ADMM や ProxGD といった標準的な最適化手法と比較して、収束性および通信コストの面でどのように異なるか？
• RQ5 特徴の相関が高い状況では、1回打ち切りSVDベースの手法の信頼性にどのような影響を与えるか？

主な発見

• 核ノルム正則化は、単一タスク学習と比較して予測性能を顕著に向上させ、共有表現の利点を示している。
• ADMM と AccProxGD は、各イテレーションで正則化されたERM問題を解くため、標準的な ProxGD よりも優れた性能を示す。特に ADMM は実験的に強く優れた性能を発揮している。
• DGSP と ProxGD は同程度の性能を示すが、DGSP はグローバル収束保証がないため、時間経過とともに性能が劣化する。一方、ProxGD はグローバル最適解に収束する。
• DNSP は最も高い通信効率を達成し、核ノルム正則化による最適解をわずかに上回る解に収束することが多く、2次情報の価値を示している。
• 1回打ち切りSVD断頭法は、特徴が高頻度に相関する状況では失敗し、場合によっては局所的な単一タスク学習でさえも下回る。これは相関する推定ノイズに起因する。
• DFW はすべての手法の中で最も性能が低く、DGSP の再適合ステップが性能に不可欠であることを示唆している。構造的類似性があるにもかかわらず。