[論文レビュー] Pseudo-task Augmentation: From Deep Multitask Learning to Intratask Sharing---and Back

Elliot Meyerson, Risto Miikkulainen|arXiv (Cornell University)|Mar 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 16

ひとこと要約

本論文では、1つのタスクに対して複数のデコーダーを用いてマルチタスク学習を模倣する「擬似タスク拡張」（PTA）を導入する。PTAは、共有特徴抽出器を複数のデコーダーで訓練することで、単一タスクの深層学習を向上させる。PTAは一般化性能を向上させ、マルチタスク学習と組み合わせることでCelebAで最先端の性能を達成し、タスク内共有とタスク間学習の相乗効果を示している。

ABSTRACT

Deep multitask learning boosts performance by sharing learned structure across related tasks. This paper adapts ideas from deep multitask learning to the setting where only a single task is available. The method is formalized as pseudo-task augmentation, in which models are trained with multiple decoders for each task. Pseudo-tasks simulate the effect of training towards closely-related tasks drawn from the same universe. In a suite of experiments, pseudo-task augmentation is shown to improve performance on single-task learning problems. When combined with multitask learning, further improvements are achieved, including state-of-the-art performance on the CelebA dataset, showing that pseudo-task augmentation and multitask learning have complementary value. All in all, pseudo-task augmentation is a broadly applicable and efficient way to boost performance in deep learning systems.

研究の動機と目的

• 1つのタスクしかない状況において、マルチタスク学習の原則を応用することで、単一タスク学習の性能ギャップを是正すること。
• 同じタスクを複数のデコーダーで解く共有モデルを訓練することで、マルチタスク学習に類似した一般化性能の向上が可能かどうかを検証すること。
• 複数の実際のタスクを必要としない、実用的で広く適用可能な深層学習システムの向上手法を開発すること。
• 擬似タスク拡張と従来のマルチタスク学習の相乗効果を調査し、それらが補完的であることを示すこと。
• タスク内パラメータ共有による効率的なモデル探索を可能にし、標準的なアンサンブルやシングルヘッドアーキテクチャを凌駕すること。

提案手法

• PTAは、1つの学習タスクに対して共有特徴抽出器と複数のタスク固有のデコーダーを訓練し、効果的に複数の「擬似タスク」を生成する。
• 各デコーダーは共有表現を同じターゲットを予測するように投影するが、異なるインダクティブバイアスを持つため、共有特徴空間が多様な解決経路に一般化されるよう促進される。
• 全擬似タスクの平均損失を最小化する共同最適化目的関数を用い、複数のデコーダーにおける個々の損失の平均を最小化することで定式化される。
• PTA-HGD（ハイパーグラデント降下を用いたオンラインデコーダー探索）やPTA-F（固定スケジュール）といった制御戦略を用いて、擬似タスクの訓練ダイナミクスを管理する。
• 既存の深層学習フレームワークと互換性があり、標準的なマルチタスク学習と組み合わせることでさらなる性能向上が可能である。
• 理論的分析により、複数の擬似タスクで学習することは単一タスク学習を厳密に包含するため、収束性と一般化性能が向上することが示唆される。

実験結果

リサーチクエスチョン

• RQ1 同じタスクを複数のデコーダーで解く1つのモデルを訓練することで、マルチタスク学習に類似した一般化性能の向上が単一タスク学習で達成可能か？
• RQ2 固定スケジュールや適応的探索といった、擬似タスクのトレースに用いる異なる制御戦略が、性能と一般化に与える影響はいかほどか？
• RQ3 擬似タスク拡張が従来のマルチタスク学習をどれほど補完的に向上させるか？
• RQ4 マルチタスク学習と組み合わせた場合、PTAがCelebAのようなベンチマークデータセットで最先端の結果を達成できるか？
• RQ5 擬似タスクダイナミクスにおける多様性の役割は何か？また、モデルの頑健性と一般化性とどのように関連するか？

主な発見

• PTAはCIFAR-10、SVHN、IMDBを含む複数のデータセットにおいて、単一タスク学習問題の性能を顕著に向上させる。
• CelebAデータセットでは、PTA-HGDがテスト誤差7.94%を達成し、すべての先行手法を上回り、新たな最先端性能を樹立した。
• マルチタスク学習と組み合わせた場合、PTAはさらなる性能向上を示し、MTLとPTAが重複ではなく補完的であることが示された。
• 図5に示すように、擬似タスク間での学習済みドロップアウトスケジュールの多様性は、PTAがタスク固有の適応を可能にしていることを示しており、特定の1つのスケジュールが優勢になることはない。
• 複数のPTAモデルをアンサンブルすることで性能が向上するが、1つのPTAモデル内の複数デコーダーをアンサンブルしても、最良の単一デコーダーを上回る顕著な向上は得られなかった。
• オンラインデコーダー探索手法であるPTA-HGDは、固定スケジュールおよびランダムサーチの変種を上回り、擬似タスク訓練における適応的制御の重要性を示した。