[論文レビュー] Distributed Stochastic Multi-Task Learning with Graph Regularization

Weiran Wang, Jialei Wang+2 more|arXiv (Cornell University)|Feb 11, 2018

Stochastic Gradient Optimization Techniques参考文献 6被引用数 16

ひとこと要約

本論文は、グラフ正則化学習を活用して、平均化重みをずらすか、共通の手法におけるステップサイズを制御することにより、異なるが関連する予測子を学習できる分散型確率的マルチタスク学習アルゴリズムを提案する。この手法は、ADMM や SDCA よりも収束が早く、計算コストも低い。合成データにおけるバッチおよび確率的設定の両方で、クラスタ構造を持つタスクに対して優れた性能を示す。

ABSTRACT

We propose methods for distributed graph-based multi-task learning that are based on weighted averaging of messages from other machines. Uniform averaging or diminishing stepsize in these methods would yield consensus (single task) learning. We show how simply skewing the averaging weights or controlling the stepsize allows learning different, but related, tasks on the different machines.

研究の動機と目的

• 各マシンが異なるデータ分布を観測する分散型マルチタスク学習において、タスクの類縁性を活用しながらも、個別化された予測子を学習すること。
• 全マシン間の合意形成を避けて、ローカル計算と近隣マシン間通信のみに依存する通信効率の高いアルゴリズムの開発。
• バッチおよび確率的バージョンの両方について、通信、サンプル、計算複雑度に対する厳密な収束保証の提供。
• 合成マルチタスク回帰問題において、ADMM や SDCA よりも収束速度と計算効率に優れた性能を達成すること。

提案手法

• グラフ正則化フレームワーク内で、隣接マシンからのメッセージの重み付き平均化を用いて、マシン間で異なるが関連する予測子を学習する。
• 共通の学習における平均化重みをずらすか、ステップサイズを制御することで、単一タスク学習から逸脱させ、マルチタスク適合を可能にする。
• ローカル勾配またはプロキシマル更新を組み合わせたバッチおよび確率的最適化を採用し、グラフベースの正則化を適用する。
• パラメータ空間における予測子の近接度に基づいて、10近傍ノードの類似性グラフを用いてタスクの類縁性を定義する。
• グラフラプラシアン正則化を施した正則化された経験的リスク最小化（RERM）目的関数を用い、接続されたタスク間の類似性を強制する。
• 固定されたミニバッチサンプリングを用いた確率的更新により、1イテレーションあたりの計算量を削減しながらも収束性を維持する。

実験結果

リサーチクエスチョン

• RQ1 全マシンに合意形成を強制せずに、マシン間で異なるが関連する予測子を学習できる分散型マルチタスク学習が設計可能か？
• RQ2 収束保証を維持しつつ、分散型マルチタスク学習における通信効率と計算コストをどのように低減できるか？
• RQ3 共通の学習アルゴリズムにおける平均化重みをずらすか、ステップサイズを制御することで、ADMM や SDCA よりも優れた収束性が得られるか？
• RQ4 バッチおよび確率的バージョンの間で、サンプル効率および計算効率の観点から性能に差は生じるか？
• RQ5 グラフベースの正則化は、異種マルチタスク設定において一般化性能を向上させ、サンプル複雑度を低減するか？

主な発見

• 提案されたバッチおよび確率的アルゴリズムは、正則化された経験的リスク最小化問題において、ADMM や SDCA よりも一貫して収束速度が速い。
• 確率的アルゴリズムは、総サンプル数を少なく処理しながらも、ERM手法と同等の性能を達成し、計算コストの低減を示した。
• 1マシンあたり10000件の新規サンプルを用いる場合、確率的手法はERMベースの手法と同等の誤差を達成し、優れたサンプル効率を示した。
• BOL および SOL のバリエーション（損失を最適化）は、BSR および SSR（正則化子を解く）よりも低い誤差を達成しており、損失に基づく最適化がより効果的であることを示した。
• 高いタスクの異質性（C=50 クラスタ）に対しても、収束が速く保たれ、タスク類縁性の程度が異なる状況でも頑健であることが示された。
• 実験結果から、グラフベースの正則化は一般化性能を顕著に向上させ、特にタスクがクラスタ構造を持つ場合に顕著であった。