[論文レビュー] Self-Paced Multi-Task Learning

Changsheng Li, Junchi Yan+4 more|arXiv (Cornell University)|Apr 6, 2016

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本稿では、自己 paced マルチタスク学習（SPMTL）を提案する。これは、マルチタスク学習中に簡単なタスクと簡単なインスタンスを同時に優先することで、モデル性能を向上させる新しいフレームワークである。タスク指向の自己 paced 正則化子を導入し、ブロック座標降下法を用いることで、OHSUMED や Isolet を含む合成データおよび実世界のデータセットにおいて、最先端の手法よりも優れた一般化性能を達成した。

ABSTRACT

In this paper, we propose a novel multi-task learning (MTL) framework, called Self-Paced Multi-Task Learning (SPMTL). Different from previous works treating all tasks and instances equally when training, SPMTL attempts to jointly learn the tasks by taking into consideration the complexities of both tasks and instances. This is inspired by the cognitive process of human brain that often learns from the easy to the hard. We construct a compact SPMTL formulation by proposing a new task-oriented regularizer that can jointly prioritize the tasks and the instances. Thus it can be interpreted as a self-paced learner for MTL. A simple yet effective algorithm is designed for optimizing the proposed objective function. An error bound for a simplified formulation is also analyzed theoretically. Experimental results on toy and real-world datasets demonstrate the effectiveness of the proposed approach, compared to the state-of-the-art methods.

研究の動機と目的

• トレーニング中にすべてのタスクとインスタンスを同等に扱う既存のマルチタスク学習手法の制限を解消すること。
• 人間が簡単な概念から難しい概念へ学ぶ認知的学習プロセスを模倣し、学習順序にタスクおよびインスタンスの複雑さを組み込むこと。
• 難易度に基づいて動的にタスクとインスタンスを選択する原理的で整合性のあるマルチタスク学習フレームワークを構築し、一般化性能と収束性を向上させること。
• タスクとインスタンスの選択を同時に制御できる新しい正則化子を設計し、マルチタスク文脈における自己 paced 学習を可能にすること。
• 大規模な学習タスクにおいても計算効率を維持しながら、最適化アルゴリズムの収束を保証すること。

提案手法

• タスクとインスタンスの複雑さに基づいて滑らかな重みを割り当てるタスク指向の自己 paced 正則化子を提案し、両者の優先順位付けを可能にする。
• 目的関数を最適化するためのブロック座標降下法を導入し、やや弱い仮定のもとで収束保証を有する。
• 各イテレーションで損失が低い（簡単な）インスタンスおよびタスクに高い重みを割り当てる損失ベースの重み付け方式を採用する。
• 繰り返し、最も情報量の多い（簡単な）タスクとインスタンスから順に選択し、学習を実行することで自己 paced 策略を適用する。
• 二段階の選択メカニズムを採用する：タスクレベルでは簡単なタスクを優先し、インスタンスレベルでは各タスク内での簡単な例を最初に選ぶ。
• 選択の急激な変化を回避するため、滑らかな重み関数を組み込み、安定的で段階的なモデル学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 すべてのタスクとインスタンスを均等に扱うのではなく、簡単なタスクと簡単なインスタンスを同時に優先することで、マルチタスク学習性能が向上するか？
• RQ2 タスクレベルとインスタンスレベルの両方の複雑さが共存する状況において、原理的で整合性のある自己 paced 学習戦略をマルチタスク設定にどのように適応できるか？
• RQ3 タスクレベルの難易度を学習順序に組み込むことで、インスタンスレベルの自己 paced 優先のみに比べ、収束性と一般化性能が向上するか？
• RQ4 マルチタスク学習フレームワークにおいて、タスクとインスタンスの選択を同時に制御できる新しい正則化子を設計できるか？
• RQ5 自己 paced 学習順序が、イテレーションごとのモデル安定性と予測精度に与える影響は何か？

主な発見

• SPMTL は、合成データおよび実世界のデータセットにおいて、ベースラインの GO-MTL やインスタンスのみの自己 paced 法 SPIWL より顕著に優れた性能を示し、タスクとインスタンスの共同優先順位付けの有効性を実証した。
• OHSUMED データセットでは、SPMTL はすべての比較手法よりも低い rMSE と nMSE を達成し、約 10 イテレーション後に性能が安定した。
• Isolet データセットでは、rMSE と nMSE の両指標において、最先端の手法を常に上回る一貫した改善を示し、実世界の回帰タスクにおける有効性を確認した。
• 重みベクトル w と損失 L の可視化から、簡単なタスクとインスタンスが学習の初期段階で優先的に選択されていることが確認され、アルゴリズムの自己 paced 動作が裏付けられた。
• アブレーションスタディの結果、タスクとインスタンスの両方の順序を考慮することで、片方のみを考慮する場合よりも高い性能が得られ、SPIWL（インスタンスのみ）は GO-MTL を上回ったが、SPMTL（共同）が両者を上回った。
• ブロック座標降下法は安定して収束し、OHSUMED データセット（15% のトレーニングデータ）では約 10 イテレーション後に予測性能が安定した。