[論文レビュー] Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights

Arun Mallya, Dillon Davis+1 more|arXiv (Cornell University)|Jan 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 36

ひとこと要約

この論文では、元のネットワークを変更せずに、重みを部分的に有効化または無効化するためのバイナリマスクを学習することで、1つの事前学習済みディープニューラルネットワークを複数の新しいタスクに適応させるPiggybackという手法を提案する。このアプローチにより、大規模なドメインシフトを伴う多様な画像分類タスクにおいて、微調整済みネットワークと同等の性能を達成しつつ、パラメータ1つあたり1ビットの追加コストに抑え、継続的学習における深刻な忘却を回避できる。

ABSTRACT

This work presents a method for adapting a single, fixed deep neural network to multiple tasks without affecting performance on already learned tasks. By building upon ideas from network quantization and pruning, we learn binary masks that piggyback on an existing network, or are applied to unmodified weights of that network to provide good performance on a new task. These masks are learned in an end-to-end differentiable fashion, and incur a low overhead of 1 bit per network parameter, per task. Even though the underlying network is fixed, the ability to mask individual weights allows for the learning of a large number of filters. We show performance comparable to dedicated fine-tuned networks for a variety of classification tasks, including those with large domain shifts from the initial task (ImageNet), and a variety of network architectures. Unlike prior work, we do not suffer from catastrophic forgetting or competition between tasks, and our performance is agnostic to task ordering. Code available at https://github.com/arunmallya/piggyback.

研究の動機と目的

• 新しいタスクを追加する際に従来のモデルで深刻な忘却が生じる継続的学習の課題に対処すること。
• 微調整や正則化に基づく手法の限界を克服し、過去のタスクの性能が低下するのを防ぎ、広範なパrameter更新を必要としないこと。
• 元の重みを再学習や変更なしに、1つの事前学習済みネットワークを複数の下流タスクに効率的に適応できること。
• 多様なデータセットやアーキテクチャ、特に大規模なドメインシフトを伴うものであっても、高い性能を維持しながら追加パラメータコストを最小限に抑えること。
• 新しい機能をエッジデバイスに展開するためのスケーラブルなソリューションを提供すること。

提案手法

• 変更なしの固定された重みを持つ事前学習済みバックボーンネットワークを、すべてのタスクの基盤として使用する。
• タスクごとに学習可能な実数値のマスク重みを導入し、これらは微分可能であり、微分可能なしきい値関数を経由してバイナリマスクを生成する。
• バイナリマスクを要素ごとにバックボーン重みに作用させることで、個々の重みの有効化または無効化により、タスク固有のフィルタを効果的に生成する。
• バックボーン重みを固定したまま、タスク固有の損失関数を用いてバックプロパゲーションによりマスク重みをエンドツーエンドで学習する。
• 学習後は実数値のマスク重みを破棄し、しきい値を適用したバイナリマスクのみを保持する。各タスクごとに別々に保存する。
• 各タスクに対して独立したバイナリマスクを学習することで、同じバックボーンを複数のタスクに共通して特徴抽出器として利用可能にする。

実験結果

リサーチクエスチョン

• RQ1 微調整や重みの更新なしに、固定された事前学習済みディープネットワークを効果的に新しいタスクに適応させられるか？
• RQ2 バイナリマスク学習は、過去に学習したタスクの性能を維持しながら、深刻な忘却を防げるか？
• RQ3 ImageNetからWikiArtやスケッチへのような大規模なドメインシフトを伴うデータセット間でも、この手法は一般化可能か？
• RQ4 精度とパrameter効率の観点から、微調整や他の継続的学習ベースラインと比較して、Piggybackの性能はどの程度か？
• RQ5 この手法は、VGG-16やResNets、DenseNetsといった多層アーキテクチャや、混合学習スキームを用いたセマンティックセグメンテーションなどのタスクに拡張可能か？

主な発見

• Visual Decathlonテストセットにおいて、Piggybackはトップ1精度97.24％を達成し、SOTA手法のDAN（97.24％対96.77％）と同等の性能を示したが、ベースネットワークの1.28倍のパラメータコストに抑えられた。
• PASCAL 2011 + SBDセマンティックセグメンテーションタスクでは、平均IOUが61.41を達成し、完全な微調整済みVGG-16（61.08）と非常に近い性能を示した。マスクのオーバーヘッドは17 MB、新しい層のオーバーヘッドは7.5 MBにとどまった。
• タスクの順序に依存せず、複数のタスクを追加しても過去のタスクの性能が低下せず、固定されたバックボーン重みのおかげで性能が維持される。
• VGG-16、ResNets、DenseNetsといったアーキテクチャを含む多様なアーキテクチャに一般化可能であり、WikiArtの絵画や人のスケッチなど、顕著なドメインシフトを伴うデータセットでも良好な性能を示した。
• パラメータ1つあたり1ビットの追加ストレージで済み、9つのタスクに適用した場合の総パラメータ比は1.28倍に抑えられ、テストしたすべての手法の中で最も低かった。
• 1つの全結合層しか追加しない場合でも高い性能を維持でき、微調整済み層とマスク層を併用する混合学習スキームに対しても成功裏に拡張可能であった。