[論文レビュー] Parameter Transfer Unit for Deep Neural Networks

Yinghua Zhang, Yu Zhang+1 more|arXiv (Cornell University)|Apr 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 3

ひとこと要約

本稿では、パラメータ共有や微調整といったヒューリスティック手法よりも優れた、微分可能で学習可能なモジュールであるパラメータ転送ユニット（PTU）を提案する。PTUは、活性化レベルでの転送可能性を制御する2つの適応的ゲートを用いることで、畳み込みニューラルネットワーク（CNN）および再帰ニューラルネットワーク（RNN）において、低リソース環境下で顕著な精度向上を達成する、細粒度でデータ駆動型のパラメータ転送を可能にする。

ABSTRACT

Parameters in deep neural networks which are trained on large-scale databases can generalize across multiple domains, which is referred as "transferability". Unfortunately, the transferability is usually defined as discrete states and it differs with domains and network architectures. Existing works usually heuristically apply parameter-sharing or fine-tuning, and there is no principled approach to learn a parameter transfer strategy. To address the gap, a parameter transfer unit (PTU) is proposed in this paper. The PTU learns a fine-grained nonlinear combination of activations from both the source and the target domain networks, and subsumes hand-crafted discrete transfer states. In the PTU, the transferability is controlled by two gates which are artificial neurons and can be learned from data. The PTU is a general and flexible module which can be used in both CNNs and RNNs. Experiments are conducted with various network architectures and multiple transfer domain pairs. Results demonstrate the effectiveness of the PTU as it outperforms heuristic parameter-sharing and fine-tuning in most settings.

研究の動機と目的

• 微調整やパラメータ共有といった、離散的でヒューリスティックなパラメータ転送戦略（例：凍結、微調整、共有）の限界を解消すること。
• 層やブロックレベルではなく、活性化レベルでのパラメータ転送可能性に対する細粒度で学習可能な制御を可能にすること。
• CNNおよびRNNの両方と互換性があり、汎用的でプラグアンドプレイなモジュールを構築し、転移学習の効率性と性能を向上させること。
• 離散的転送状態に対する高コストなハイパーパramータサーチの必要性を排除し、エンドツーエンドで最適な転送戦略を学習すること。

提案手法

• PTUは、ソースドメインおよびターゲットドメインのニューラルネットワークからの活性化の非線形的で重み付き組み合わせを計算する微分可能なモジュールである。
• 2つの学習可能なゲートを採用する：微調整ゲートは、ソースの活性化をターゲットドメインに適応させ、更新ゲートは、ソースからのパラメータ転送を制御する。
• ゲートは、学習可能な重みを持つ人工ニューロンとして実装されており、転送戦略のエンドツーエンド学習を可能にする。
• PTUは、ソースおよびターゲットネットワークの対応する層の間に挿入され、既存のアーキテクチャへの柔軟な統合を可能にする。
• 従来の離散的転送状態（例：凍結、微調整）を、連続的かつ適応的な転送ポリシーとして学習することで、統合する。
• 標準的な最適化手法を用いて、転送戦略を手動でチューニングすることなく、データから学習するエンドツーエンドの訓練が可能である。

実験結果

リサーチクエスチョン

• RQ1 学習可能で連続的なパラメータ転送戦略は、凍結や微調整といったヒューリスティックな離散的転送状態を上回ることができるか？
• RQ2 ラベル付きデータが少ない低リソースドメインにおいて、PTUは転移学習の性能を向上させるか？
• RQ3 アーキテクチャの変更なしに、CNNやRNNといった異なるアーキテクチャに効果的に適用可能か？
• RQ4 標準的な微調整やパラメータ共有と比較して、最適化効率および一般化性能においてPTUは優れているか？
• RQ5 PTUは、転送戦略に対する広範なハイパーパramータサーチの必要性を低減できるか？

主な発見

• PTUは、評価されたすべての設定でパラメータ共有および微調整を上回り、RNNベースの文字認識タスクにおいて、相対的な精度向上が6.86%から35.43%に及ぶ。
• RNNの実験では、NoTLモデルが5つのターゲットドメインのうち4つでK-NNベースラインを下回ったことから、低リソース学習の課題が顕著に示された。
• PTUモデルは最高の検証精度を達成し、過学習にも強く、訓練中に検証精度が低下しなかった。
• FTモデルで10倍の大きな初期学習率を使用しても、PTUはより速く収束し、より優れた一般化性能を示した。
• PTUの最適化ダイナミクスは、急激な損失低下と早期の検証精度の飽和を示し、効率的な学習を示した。
• 複数の転送ドメインペアおよびネットワークアーキテクチャにわたり、一貫した性能向上が確認され、一般化能力および柔軟性が裏付けられた。