[論文レビュー] Learning to Multitask

Yu Zhang, Ying Wei+1 more|arXiv (Cornell University)|May 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 9

ひとこと要約

本稿では、履歴的なマルチタスク経験を活用して最適なマルチタスクモデルを自動的に選択する、L2MT（Learning to Multitask）というフレームワークを提案する。層別グラフニューラルネットワークを用いてタスク埋め込みを学習し、相対的テスト誤差を予測する推定関数を導入することで、エンド・ツー・エンドのモデル選択が可能となり、ベンチマークデータセットにおいてベースラインを上回る性能を発揮し、誤差を顕著に低減する。

ABSTRACT

Multitask learning has shown promising performance in many applications and many multitask models have been proposed. In order to identify an effective multitask model for a given multitask problem, we propose a learning framework called learning to multitask (L2MT). To achieve the goal, L2MT exploits historical multitask experience which is organized as a training set consists of several tuples, each of which contains a multitask problem with multiple tasks, a multitask model, and the relative test error. Based on such training set, L2MT first uses a proposed layerwise graph neural network to learn task embeddings for all the tasks in a multitask problem and then learns an estimation function to estimate the relative test error based on task embeddings and the representation of the multitask model based on a unified formulation. Given a new multitask problem, the estimation function is used to identify a suitable multitask model. Experiments on benchmark datasets show the effectiveness of the proposed L2MT framework.

研究の動機と目的

• 与えられたマルチタスク問題に対して、膨大な候補モデルの中から効果的なマルチタスクモデルを選択する課題に対処すること。
• 交差検証にかかる高コストな計算を置き換えることで、モデル選択の計算コストを低減すること。
• 履歴的なマルチタスク経験から学習することで、自動的かつ一般化可能なモデル選択を可能にすること。
• タスク表現とモデル共分散行列を同時に最適化することで、マルチタスク学習の性能を向上させること。

提案手法

• L2MTは、履歴的なマルチタスク経験を（マルチタスク問題、マルチタスクモデル、相対的テスト誤差）のタプルとして表現し、メタラーニングのための訓練データセットを構築する。
• タスク間の関係を捉えるために、層別グラフニューラルネットワーク（LGNN）を用いてタスク埋め込みを学習する。
• タスク埋め込み行列はマルチタスク問題の表現として集約され、タスク共分散行列はマルチタスクモデルの表現として機能する。
• エンド・ツー・エンドの推定関数が、マルチタスク問題とモデルの結合表現を入力として受け取り、相対的テスト誤差を予測する。
• 新しいマルチタスク問題に対して、この推定関数を最小化することで、最適なタスク共分散行列とそれらから得られるマルチタスクモデルを同時に学習する。
• フレームワークは、VGG-19などの特徴抽出器のファインチューニングをサポートし、さらなる性能向上を可能にする。

実験結果

リサーチクエスチョン

• RQ1 交差検証を徹底的に行わずとも、学習ベースのフレームワークが新しいマルチタスク問題に対して適切なマルチタスクモデルを効果的に同定できるか。
• RQ2 タスク関係を効果的に表現するにはどうすればよいか。
• RQ3 学習されたタスク埋め込みとモデル表現は、マルチタスク学習における一般化性能をどの程度向上できるか。
• RQ4 提案されたフレームワークは、テスト誤差と頑健性の観点から、既存のマルチタスク学習ベースラインを上回るか。

主な発見

• L2MTは、Caltech256およびMIT-Indoor-SceneデータセットにおいてVGG-19ネットワークをファインチューニングした際、平均テスト誤差を約5%低減する。
• λ ∈ [0.01, 0.5] および k ∈ [5, 10] の範囲で、さまざまなハイパーパramータ設定に対し、安定した性能を発揮し、感度が極めて低い。
• L2MTは意味のあるタスク相関関係を学習しており、例えば「クマ」と「イヌ」分類タスクの間には強い負の相関関係が見られ、これが性能向上と関連している。
• 事例研究では、SNR1 や MTRL よりも、L2MTが関連するタスク間の高い負の相関関係をより的確に捉えていることが示された。
• 代替の推定関数およびリンク関数を用いることで、テスト誤差が約2%相対的に増加するため、提案された関数形の優位性が裏付けられた。
• 一般化境界は、訓練タプル数 q が増加するにつれてテスト誤差が減少するという経験的結果によって裏付けられている。