[論文レビュー] Efficient and Scalable Multi-task Regression on Massive Number of Tasks

Xiao He, Francesco Alesiani+1 more|arXiv (Cornell University)|Nov 14, 2018

Machine Learning and ELM被引用数 4

ひとこと要約

本論文は、予測モデルのk近傍グラフ上での凸クラスタリングを統合することで、膨大な数のタスクにわたる効率的でスケーラブルな学習を可能にする、新しいマルチタスク回帰手法CCMTLを提案する。線形スケーラビリティとグローバル収束性を達成し、23,812タスクで30秒の学習時間で最先端の手法を上回る。これは、従来の手法が数時間乃至数日を要するのと比べて顕著に高速である。

ABSTRACT

Many real-world large-scale regression problems can be formulated as Multi-task Learning (MTL) problems with a massive number of tasks, as in retail and transportation domains. However, existing MTL methods still fail to offer both the generalization performance and the scalability for such problems. Scaling up MTL methods to problems with a tremendous number of tasks is a big challenge. Here, we propose a novel algorithm, named Convex Clustering Multi-Task regression Learning (CCMTL), which integrates with convex clustering on the k-nearest neighbor graph of the prediction models. Further, CCMTL efficiently solves the underlying convex problem with a newly proposed optimization method. CCMTL is accurate, efficient to train, and empirically scales linearly in the number of tasks. On both synthetic and real-world datasets, the proposed CCMTL outperforms seven state-of-the-art (SoA) multi-task learning methods in terms of prediction accuracy as well as computational efficiency. On a real-world retail dataset with 23,812 tasks, CCMTL requires only around 30 seconds to train on a single thread, while the SoA methods need up to hours or even days.

研究の動機と目的

• 小売や交通分野で一般的な数十万のタスクを含む問題にまでスケーリング可能なマルチタスク学習の課題に対処すること。
• すべてのタスクが関連していると仮定するか、超線形にスケーリングする既存のマルチタスク学習手法の限界を克服すること。
• 計算効率性と収束保証を維持しながら、クラスタリングを通じてタスクの関係性を捉える手法を開発すること。
• 訓練時間と精度が極めて重要な実世界の大規模応用において、マルチタスク回帰の実用的導入を可能にすること。
• 大規模なタスク集合に対して計算的に非現実的である既存のタスククラスタリング手法のスケーラブルな代替案を提供すること。

提案手法

• 予測誤差の最小化とタスク重みベクトルに対する凸クラスタリングペナルティを組み合わせた正則化最適化問題としてマルチタスク回帰を定式化する。
• タスクの類似度を定義しクラスタリングを誘導するために、予測モデルの上にk近傍（k-NN）グラフを構築する。
• タスク重みの差のℓ₂ノルムをクラスタリング正則化子として用い、凸性と安定したクラスタリング行動を保証する。
• グローバル最適解に収束する新しい最適化アルゴリズムを提案し、信頼性と効率的な学習を実現する。
• k-NNグラフ構造を凸クラスタリング目的関数に統合し、事前に指定されたクラスタ数を必要とせずに、類似したタスクを適応的にグループ化する。
• 収束保証付きのデュアル昇下法を採用し、大規模なタスク集合においても堅牢性とスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 予測モデルのk-NNグラフ上での凸クラスタリングは、大規模なマルチタスク回帰において関連するタスクを効果的にグループ化できるか？
• RQ2 提案手法CCMTLは、既存のSOTA手法が超線形にスケーリングするのに対し、タスク数に対して線形スケーリングを達成できるか？
• RQ3 合成データおよび実世界データセットにおいて、CCMTLは最先端のマルチタスク学習手法と比較して予測精度と学習効率で優れているか？
• RQ4 小売販売予測のような実世界のデータセット（数万のタスクを含む）において、CCMTLは高いパフォーマンスと短い訓練時間を維持できるか？
• RQ5 提案された最適化手法はグローバル最適解に収束することが保証されるか？また、既存のソルバーよりも高速か？

主な発見

• CCMTLは合成データおよび実世界データセットの両方で、7つのSOTAマルチタスク学習手法を上回る最先端の予測精度を達成した。
• 23,812のタスクを含む実世界の小売データセットにおいて、CCMTLは単一スレッドで約30秒で学習を完了したのに対し、SOTA手法は数時間乃至数日を要した。
• CCMTLは、最大160,000タスクのデータセットを用いた実験により、タスク数に対して線形にスケーリングする訓練時間を示した。
• 比較された手法の中で、CCMTLとRMTLのみが線形のランタイムスケーリングを示した。他のすべての手法は超線形増加を示し、FuseMTL、MTFactor、TriFactorは24時間以内に40,000タスクの実行を完了できなかった。
• 補足資料の回帰分析により、CCMTLの実行時間は線形にスケーリングするのに対し、他の手法は2次関数的にスケーリングすることが確認された。
• CCMTLがクラスタリング正則化子にℓ₂ノルムを用いることで、FuseMTL や SRMTL がℓ₁または二乗ℓ₂ノルムを用いる手法よりも優れた性能を発揮した。