[論文レビュー] Small Towers Make Big Differences

Yuyan Wang, Zhe Zhao+5 more|arXiv (Cornell University)|Aug 13, 2020

Infrastructure Resilience and Vulnerability Analysis参考文献 47被引用数 6

ひとこと要約

本論文では、パラメータ数が少ない、タスクに依存しない自己補助アーキテクチャ（self-auxiliaries）—マルチタスク深層学習モデルに追加される小さなタワー—を提案し、マルチ目的最適化とマルチタスク一般化のバランスを取ることでパレート効率を向上させることを目的としている。実験的結果から、これらの小さな補助ヘッドは、パラメータの追加コストを最小限に抑えながら、複数のタスクにおいて顕著な性能向上を達成しており、標準的なマルチタスクモデルや過剰にパラメータ化されたベースラインを上回っていることが示された。

ABSTRACT

Multi-task learning aims at solving multiple machine learning tasks at the same time. A good solution to a multi-task learning problem should be generalizable in addition to being Pareto optimal. In this paper, we provide some insights on understanding the trade-off between Pareto efficiency and generalization as a result of parameterization in multi-task deep learning models. As a multi-objective optimization problem, enough parameterization is needed for handling task conflicts in a constrained solution space; however, from a multi-task generalization perspective, over-parameterization undermines the benefit of learning a shared representation which helps harder tasks or tasks with limited training examples. A delicate balance between multi-task generalization and multi-objective optimization is therefore needed for finding a better trade-off between efficiency and generalization. To this end, we propose a method of under-parameterized self-auxiliaries for multi-task models to achieve the best of both worlds. It is task-agnostic and works with other multi-task learning algorithms. Empirical results show that small towers of under-parameterized self-auxiliaries can make big differences in improving Pareto efficiency in various multi-task applications.

研究の動機と目的

• パrameter化されたマルチタスク深層学習モデルにおける、パレート効率とマルチタスク一般化のトレードオフを調査すること。
• 過剰なパラメータ化が、特に困難なタスクやデータが少ないタスクにおいて、共有表現学習の利点を損なうという課題に対処すること。
• 推論コストを増加させることなく、パレート効率を向上させる一般化可能でタスクに依存しない手法を開発すること。
• パラメータ数が少ない自己補助アーキテクチャが、共有表現の暗黙的正則化を通じて、より大きなモデルよりも優れた性能を達成できることを示すこと。

提案手法

• メインヘッドと同一のタスクで動作するが、能力が制限された小さな、タスクに依存しない補助ヘッド（自己補助アーキテクチャ）を導入し、同じ入力を共有する。
• 平均プーリングやボトルネック層を用いて、自己補助タワーのパラメータ数をさらに削減する。
• メインタスクの目的関数と補助目的関数の両方でモデルを学習させ、補助ヘッドが共有特徴の暗黙的正則化を提供するようにする。
• ReLU活性化関数を用いた共有ボトムアーキテクチャにこの手法を適用し、既存のマルチタスク学習フレームワークと互換性を保つ。
• プーリングサイズやタワーウェイドスの最適化を含むハイパーパramータを、広範なハイパーパramータサーチ（各設定あたり1000回の実行）により最適化する。
• 特に回帰および分類タスクにおいて、複数の目的間のトレードオフを評価するために、パレートフロンティア分析を適用する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクモデルにおけるパラメータ化のレベルが、パレート効率とマルチタスク一般化のトレードオフに与える影響は何か？
• RQ2 パラメータ数が少ない補助ヘッドは、モデルサイズや推論コストを増加させることなく、パレート効率を向上させることができるか？
• RQ3 自己補助タワーの能力を低減させることで性能が向上するのか？ もし向上するなら、その理由は何か？
• RQ4 提案手法は、異なるモデルアーキテクチャやタスクタイプにおいて、どのように動作するか？
• RQ5 この手法は、アーキテクチャの変更なしに、既存のマルチタスク学習アルゴリズムと組み合わせて使用可能か？

主な発見

• 自己補助アーキテクチャに平均プーリングを適用した本手法は、MovieLensデータセットにおいてパレートフロンティアを顕著に改善し、視聴予測および評価予測の両タスクで性能向上を達成した。
• 自己補助タワーのパラメータ数をさらに削減することで性能が向上し、パラメータ数が少ないことが効果的な正則化の鍵であることが示された。
• 本手法は、より大きなモデルよりも優れたパレート効率を達成しており、過剰なパラメータ化がマルチタスク一般化を損なう可能性があることを示している。
• 自己補助アーキテクチャの恩恵は、より大きなモデルアーキテクチャにおいて顕著であり、最適化と一般化のバランスを取る役割を果たしていることが確認された。
• 本手法は、回帰および分類の異なるタスクやモデルアーキテクチャにわたり有効であり、広範な適用可能性を示している。
• 本手法はトレーニング時においても極めて小さなパラメータの追加コストしか発生せず、推論時にも追加コストがないため、大規模システムに適している。