[論文レビュー] K for the price of 1. Parameter efficient multi-task and transfer learning

Pramod Kaushik Mudrakarta, M. Sandler+2 more|arXiv (Cornell University)|Sep 27, 2018

Domain Adaptation and Few-Shot Learning被引用数 19

ひとこと要約

この論文では、全ネットワークの微調整の代わりに、タスク固有の「モデルパッチ」——スケールやバイアスのような小さなパラメータ集合——を学習することで、マルチタスクおよび転移学習のためのパrameter効率の良い手法を提案している。事前学習済みSSD特徴抽出器の98％を再利用し、わずかなパラメータ集合のみを適応させるアプローチにより、全微調整と同等の性能を達成しながら、パラメータ更新を著しく削減している。

ABSTRACT

We introduce a novel method that enables parameter-efficient transfer and multi-task learning with deep neural networks. The basic approach is to learn a model patch - a small set of parameters - that will specialize to each task, instead of fine-tuning the last layer or the entire network. For instance, we show that learning a set of scales and biases is sufficient to convert a pretrained network to perform well on qualitatively different problems (e.g. converting a Single Shot MultiBox Detection (SSD) model into a 1000-class image classification model while reusing 98% of parameters of the SSD feature extractor). Similarly, we show that re-learning existing low-parameter layers (such as depth-wise convolutions) while keeping the rest of the network frozen also improves transfer-learning accuracy significantly. Our approach allows both simultaneous (multi-task) as well as sequential transfer learning. In several multi-task learning problems, despite using much fewer parameters than traditional logits-only fine-tuning, we match single-task performance.

研究の動機と目的

• 全微調整の非効率性を是正し、トレーニング可能なパラメータ数を削減すること。
• 全ネットワークを再学習せずに、順次的および同時的両方の転移学習を可能にすること。
• 事前学習済み重みの大部分を再利用しながら、下流タスクにおける高い性能を維持すること。
• 小さな、学習可能なパラメータパッチが、1つのバックボーンを多様なタスクに効果的に適応させられることを検証すること。

提案手法

• 本手法は、スケールやバイアスなどの小さな学習可能なパラメータ集合からなるタスク固有のモデルパッチを導入し、凍結された事前学習済みネットワークに追加する。
• これらのパッチは、事前学習済み特徴を特定のタスクに適応させるために訓練され、パラメータ効率の良い適応を可能にする。
• 本手法は、マルチタスク学習（複数のタスクへの同時に適応）および順次的転移学習（1つのタスクを別のタスクの後に）の両方をサポートする。
• 他のネットワークを凍結したまま、低パラメータ層（例：ディープワイド畳み込み）を再学習することで、転移学習の精度が向上することを可能にする。
• モデルパッチは特徴抽出器の後ろに適用され、最終的な分類ヘッドの前に特徴表現を変更する。
• 本手法は元のネットワークアーキテクチャを維持し、1タスクあたり最小限の追加パラメータを導入する。

実験結果

リサーチクエスチョン

• RQ1 小さな学習可能なパラメータ集合が、凍結された事前学習済みネットワークを多様な下流タスクに効果的に適応させられるか？
• RQ2 本手法の性能は、全微調整およびログイットのみの適応と比べてどうか？
• RQ3 同じ特徴抽出器を複数のタスクに最小限のパラメータ更新でどれほど再利用できるか？
• RQ4 他のネットワークを凍結したまま、低パラメータ層を再学習することで、転移学習の精度が向上するか？
• RQ5 標準的な微調整よりもはるかに少ないパラメータを使用しながら、単一タスクの性能水準に達成できるか？

主な発見

• 本手法は、事前学習済みSSD特徴抽出器の98％のパラメータを再利用しながら、全微調整と同等の性能を達成している。
• 標準的な微調整よりもはるかに少ないトレーニング可能なパラメータを使用しているにもかかわらず、マルチタスク学習において単一タスクの性能に匹敵する。
• 他のネットワークを凍結したまま低パラメータ層（例：ディープワイド畳み込み）を再学習することで、転移学習の精度が向上する。
• モデルパッチにより、物体検出モデルを1000クラスの画像分類器に変換するなど、質的に異なるタスク間でも効果的な適応が可能である。
• 最小限のパラメータ更新で、同時に適応と順次的適応の両方の転移学習をサポートする。
• 本手法は強力なパラメータ効率を示しており、リソース制約のある環境での展開に適している。