[論文レビュー] Decentralized Multi-Task Learning Based on Extreme Learning Machines

Yu Ye, Ming Xiao+1 more|arXiv (Cornell University)|Apr 25, 2019

Machine Learning and ELM参考文献 37被引用数 10

ひとこと要約

本稿では、分散型マルチタスク学習フレームワークをExtreme Learning Machines (ELM) を用いて提案し、ハイブリッド・ジャコビアンおよびガウス＝ザイデル ADMM アルゴリズム（DMTL-ELM）を用いて、分散ノード全体で共有特徴重みとタスク固有の出力重みを共同最適化する。本手法は、1次近似バージョン（FO-DMTL-ELM）を用いることで通信オーバーヘッドを低減し、地理的に分散した環境における精度と通信コストの調整可能なトレードオフを実現した。

ABSTRACT

In multi-task learning (MTL), related tasks learn jointly to improve generalization performance. To exploit the high learning speed of extreme learning machines (ELMs), we apply the ELM framework to the MTL problem, where the output weights of ELMs for all the tasks are learned collaboratively. We first present the ELM based MTL problem in the centralized setting, which is solved by the proposed MTL-ELM algorithm. Due to the fact that many data sets of different tasks are geo-distributed, decentralized machine learning is studied. We formulate the decentralized MTL problem based on ELM as majorized multi-block optimization with coupled bi-convex objective functions. To solve the problem, we propose the DMTL-ELM algorithm, which is a hybrid Jacobian and Gauss-Seidel Proximal multi-block alternating direction method of multipliers (ADMM). Further, to reduce the computation load of DMTL-ELM, DMTL-ELM with first-order approximation (FO-DMTL-ELM) is presented. Theoretical analysis shows that the convergence to the stationary point of DMTL-ELM and FO-DMTL-ELM can be guaranteed conditionally. Through simulations, we demonstrate the convergence of proposed MTL-ELM, DMTL-ELM, and FO-DMTL-ELM algorithms, and also show that they can outperform existing MTL methods. Moreover, by adjusting the dimension of hidden feature space, there exists a trade-off between communication load and learning accuracy for DMTL-ELM.

研究の動機と目的

• 中央集権的なデータ収集が不実用な地理的に分散したデータ環境において、マルチタスクモデルを効率的に学習する課題に対処すること。
• 関連するタスク間で一般化性能を向上させるために、マルチタスク設定におけるExtreme Learning Machines (ELM) の高速学習能力を活用すること。
• 中央集権的な調整なしに、共有特徴とタスク固有の重みの共同学習を可能にする分散型最適化アルゴリズムを設計すること。
• 高いモデル精度を維持しつつ、分散型マルチタスク学習における計算および通信のオーバーヘッドを低減すること。
• 特定の条件下で、提案された分散型アルゴリズムの理論的収束保証を確立すること。

提案手法

• 分散学習を目的として、結合されたバイ・コン vex 目的関数を持つメジャライズドマルチブロック最適化として、マルチタスク ELM 問題を定式化する。
• DMTL-ELM を提案し、ジャコビアンとガウス＝ザイデル更新を組み合わせたハイブリッド ADMM アルゴリズムとして、分散最適化問題を解く。
• 各イテレーションにおける計算複雑性を低減するため、DMTL-ELM の1次近似バージョンである FO-DMTL-ELM を導入する。
• 各ノードで共有隠れ特徴行列 U とタスク固有の出力重みベクトルを用い、ADMM の双対変数を介して一貫性を強制する。
• 非滑らか性に対処し、非凸設定下での収束を保証するために、プロキシタル項を用いた交互最適化を採用する。
• 元の非凸目的関数の安定的かつ効率的な反復的更新を可能にするために、マジョライゼーション技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 ELM を基盤とする分散型マルチタスク学習フレームワークは、既存の中央集権的および分散型 MTL 手法よりも優れた一般化性能を達成できるか？
• RQ2 提案された DMTL-ELM アルゴリズムの通信負荷は、イテレーション回数および隠れ層のサイズにどのように依存するか？
• RQ3 分散型 ELM を用いた MTL フレームワークにおいて、通信コストと学習精度のトレードオフはどのようなものか？
• RQ4 FO-DMTL-ELM における1次近似は、計算負荷の低減を実現しつつ、収束性と一般化性能を保持できるか？
• RQ5 どのような条件下で、提案された DMTL-ELM および FO-DMTL-ELM アルゴリズムが静的点に収束するか？

主な発見

• 提案された MTL-ELM、DMTL-ELM、および FO-DMTL-ELM アルゴリズムは、指定された条件下でいずれも静的点に収束し、理論的収束保証が得られている。
• DMTL-ELM は中央集権的 MTL-ELM ベースラインと同等のテスト誤差を達成しており、効果的な分散協調学習を示している。
• FO-DMTL-ELM は MTL-ELM や DMTL-ELM と比較して実行時間を顕著に短縮したが、競争力のある一般化性能を維持している。
• 固定イテレーション回数（k=25）では、DMTL-ELM の性能は DNSP よりも劣る（収束が不十分なため）が、k を増やしたり L を大きくしたりすることで改善する。
• k=50 かつ L=300 の場合、DMTL-ELM は通信負荷が高かろうと一般化性能が DNSP を上回り、精度と通信コストのトレードオフを確認した。
• DMTL-ELM の通信負荷は k×L に比例し、性能とシステムオーバーヘッドのバランスをとるために L と k のチューニングにより低減可能である。