[論文レビュー] Superposition of many models into one

Brian Cheung, A. L. Terekhov+3 more|arXiv (Cornell University)|Feb 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 46

ひとこと要約

この論文は、タスク固有のコンテキストベクターを用いて単一のニューラルネットワーク内に複数のタスク特化モデルを格納するパラメータ重畳を提案し、学習中の干渉を最小化しつつ各モデルを取得可能とする。

ABSTRACT

We present a method for storing multiple models within a single set of parameters. Models can coexist in superposition and still be retrieved individually. In experiments with neural networks, we show that a surprisingly large number of models can be effectively stored within a single parameter instance. Furthermore, each of these models can undergo thousands of training steps without significantly interfering with other models within the superposition. This approach may be viewed as the online complement of compression: rather than reducing the size of a network after training, we make use of the unrealized capacity of a network during training.

研究の動機と目的

• トレーニング中に過剰パラメータ化を活用して単一のパラメータセット内で複数のタスクを学習する動機づけ。
• メモリに優しいアプローチとしてパラメータ重畳を導入し、1つのネットワークに複数のモデルを格納。
• オンライン学習シナリオ全体で干渉と破局的忘却に対する頑健性を示す。
• ResNet のような最先端ネットワークを含む全結合および畳み込みアーキテクチャの適用性を示す。

提案手法

• W = sum_i Wi Ci^{-1} (Equation 1) により、単一の重み行列 W に K 個のタスクモデル W1,...,WK を格納。
• Ŵk = WCk = sum_i Wi(Ci^{-1}Ck) (Equation 2) を用いてタスク k のパラメータを取得。
• yk = W(Ck x) または等価に yk = W(Ck x) (Equation 3) によってタスク出力を計算。
• 干渉を最小化するために対角、複素、回転ベースの変換としてコンテキストを適用し、それぞれのコンテキストのパラメータ数を議論する（Table 1）。
• PSP を各レイヤの線形変換（Equation 7）および畳み込みカーネル（Equation 8）に対してコンテキスト乗算を適用することでニューラルネットワークに拡張。
• 干渉と取得ノイズを分析し、期待値での無偏取得と分散境界が概ね 1/M に比例することを示す定理（Appendix A）。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中の大きな干渉なしに同一パラメータセット内に複数のタスク特化モデルを格納できるか。
• RQ2 コンテキストの選択（バイナリ、複素、回転、対角）がメモリ効率とモデル間の干渉にどのように影響するか。
• RQ3 オンライン学習で入力分布（例: MNIST の並置、MNIST/Fashion-MNIST の回転）や出力分布（iCIFAR）の変化に対して PSP は破局的忘却を緩和できるか。
• RQ4 PSP は ResNet のような現代的アーキテクチャや畳み込みネットワークと互換性があるか。
• RQ5 タスク識別子への依存を減らすためにコンテキストを自動適応または調整可能にできるか。

主な発見

• PSP は各モデルにつき数千のトレーニングステップの間、干渉を最小限に抑えつつ複数のモデルを単一のパラメータインスタンス内に格納できる。
• バイナリ、複素、回転ベースのコンテキストは、メモリコストと取得品質の間で異なるトレードオフを提供し、回転は高いパラメータコストで干渉低減を最も高く提供する（Table 1）。
• PSP は permuting MNIST に対する破局的忘却を標準的なベースラインおよび先行の継続学習手法（EWC, SI）よりも著しく緩和する。
• PSP は入力分布シフト（並べ替えMNIST や回転MNIST/Fashion-MNIST）および出力分布の変化（iCIFAR）に対しても頑健性を維持する。
• PSP は ResNet-18 のような現代的ネットワークにスケールし、連続して離散的な CIFAR-100 クラスセットを学習した後でも CIFAR-10 の性能を維持する。