[論文レビュー] muNet: Evolving Pretrained Deep Neural Networks into Scalable Auto-tuning Multitask Systems

Andréa Gesmundo, Jeff Dean|arXiv (Cornell University)|May 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

muNet は、事前学習済みの深層ニューラルネットワークを再利用するモジュール型コンponentsとしてのレイヤーを活用することで、スケーラブルで自己調整可能なマルチタスクシステムへ進化させる進化的なフレームワークを提案する。これにより、タスク間での共同学習が可能となり、深刻な忘却や悪影響の転送を回避する。10の画像分類タスクにおいて、標準的な微調整と比較して平均精度が2.39%向上し、タスクあたりのパラメータ数を47%削減した。

ABSTRACT

Most uses of machine learning today involve training a model from scratch for a particular task, or sometimes starting with a model pretrained on a related task and then fine-tuning on a downstream task. Both approaches offer limited knowledge transfer between different tasks, time-consuming human-driven customization to individual tasks and high computational costs especially when starting from randomly initialized models. We propose a method that uses the layers of a pretrained deep neural network as building blocks to construct an ML system that can jointly solve an arbitrary number of tasks. The resulting system can leverage cross tasks knowledge transfer, while being immune from common drawbacks of multitask approaches such as catastrophic forgetting, gradients interference and negative transfer. We define an evolutionary approach designed to jointly select the prior knowledge relevant for each task, choose the subset of the model parameters to train and dynamically auto-tune its hyperparameters. Furthermore, a novel scale control method is employed to achieve quality/size trade-offs that outperform common fine-tuning techniques. Compared with standard fine-tuning on a benchmark of 10 diverse image classification tasks, the proposed model improves the average accuracy by 2.39% while using 47% less parameters per task.

研究の動機と目的

• 標準的な微調整や単一タスク学習における非効率さと知識転送の限界を解消し、複数のタスク間で共同学習を可能にする。
• モジュラーかつセルフコンパートメント化された知識再利用により、マルチタスク学習における深刻な忘却、勾配干渉、悪影響の転送を排除する。
• 進化的アルゴリズムを用いてハイパーパramータチューニングとアーキテクチャ探索を自動化し、手動によるメタパラメータチューニングなしに、探査と活用のバランスを動的に制御する。
• 新しいタスクや知識を最小限のパラメータオーバーヘッドで追加できる、スケーラブルで段階的なモデル進化を可能にする。
• エキスパートがチューニングしたモデルに依存する必要を減らし、1つの進化し続けるシステムに集団的貢献を可能にすることで、高性能な機械学習へのアクセスを民主化する。

提案手法

• muNet は、事前学習済みの深層ニューラルネットワークのレイヤーをモジュール型の構成要素として再利用することで、マルチタスクモデルを構築し、タスク固有の知識をカプセル化して共有可能にする。
• 進化的アルゴリズムが、事前知識の選択、パラメータサブセットの選択、ハイパーパramータ設定の3つを同時に探索し、探査／活用のバランスを動的に調整する。
• レイヤーのクローン、レイヤーの再利用、ハイパーパラメータの変異、パラメータのプルーニングの4種類の変異タイプを用いて、進化中に新しいモデル構成を生成する。
• ハイパーパラメータは固定値ではなく、動的スケジュールによって自動チューニングされ、指数関数的減衰サンプリングを用いて探索空間に暗黙の事前分布を定義する。
• スケール制御メカニズムにより、品質とサイズのトレードオフを調整でき、パラメータ効率性において標準的な微調整を上回る性能を発揮する。
• 本手法は、任意の事前学習モデルを出発点としてサポートでき、トランスファーラーニングによる収束の加速と効率性の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 進化的フレームワークは、マルチタスク学習システムにおいて、知識選択、パラメータサブセット選択、ハイパーパラメータチューニングを同時に最適化できるか？
• RQ2 このようなシステムは、多様なタスク間での知識再利用を可能にしつつ、深刻な忘却や悪影響の転送を回避できるか？
• RQ3 標準的な微調整と比較して、本手法はタスクあたりのパラメータオーバーヘッドをどの程度削減できるか？
• RQ4 進化による動的ハイパーパラメータスケジューリングは、静的ハイパーパラメータチューニングを上回る性能を発揮するか？
• RQ5 新しいタスクを段階的に追加する際、本システムの性能と効率性はどのようにスケーリングするか？

主な発見

• muNet は、10の多様な画像分類タスクにおいて、標準的な微調整と比較して平均精度を2.39%向上させた。
• 本手法は、より高い精度を達成しながら、タスクあたりのパラメータ数を47%削減した。これは、優れたパラメータ効率性を示している。
• タスク固有の知識がコンパートメント化されて保存されるため、深刻な忘却にさらされない。これは段階的学習においても有効である。
• 進化的な自動チューニングプロセスは、メタパラメータの手動チューニングなしに、探査と活用のバランスを動的に調整する。
• スケール制御メカニズムにより、品質とサイズの効果的なトレードオフが実現され、精度とモデルのコンactさの両面で標準的な微調整を上回った。
• 新しいタスクの追加に伴うパラメータ増加が最小限に抑えられ、スケーラブルで集団的進化可能なモデルの進化を実現した。