[論文レビュー] Sparse Transfer Learning via Winning Lottery Tickets

Rahul Mehta|arXiv (Cornell University)|May 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 20

ひとこと要約

この論文は、CIFAR-10で訓練されたソースネットワークから剪定されたスパースな部分ネットワーク（ワーキングチケット）が、SmallNORB や FashionMNIST といったターゲットタスクに微調整可能であることを示すことで、ロットリーチケット仮説を転移学習に拡張している。スパースなワーキングチケットは、微調整後に元の密度ネットワークを同等または上回る精度を達成する。反復的剪定を用いることで、ワーキングチケットは最小で5.5%のパラメータしか保持しなくてもよく、微調整後にフルネットワークの性能を同等または上回る。

ABSTRACT

The recently proposed Lottery Ticket Hypothesis of Frankle and Carbin (2019) suggests that the performance of over-parameterized deep networks is due to the random initialization seeding the network with a small fraction of favorable weights. These weights retain their dominant status throughout training -- in a very real sense, this sub-network "won the lottery" during initialization. The authors find sub-networks via unstructured magnitude pruning with 85-95% of parameters removed that train to the same accuracy as the original network at a similar speed, which they call winning tickets. In this paper, we extend the Lottery Ticket Hypothesis to a variety of transfer learning tasks. We show that sparse sub-networks with approximately 90-95% of weights removed achieve (and often exceed) the accuracy of the original dense network in several realistic settings. We experimentally validate this by transferring the sparse representation found via pruning on CIFAR-10 to SmallNORB and FashionMNIST for object recognition tasks.

研究の動機と目的

• 構造的でないマグニチュード剪定を用いてソースタスクで同定されたスパースな部分ネットワーク（ワーキングチケット）が、異なるターゲットタスクに効果的に転移可能かどうかを調査すること。
• 元のロットリーチケット仮説と転移学習の文脈における矛盾を解消するため、転移学習に特化した「チケット転移仮説」を形式化すること。
• さまざまなアーキテクチャとデータセットにおいて、ワンショット剪定と反復的剪定の両方が、転移可能なワーキングチケットを同定する上でどのように機能するかを評価すること。
• スパースな部分ネットワークからの転移性能を最適化するために、完全結合層のみを微調整するのか、それとも全ネットワークを微調整するのかを特定すること。

提案手法

• CIFAR-10で事前学習されたResNet18およびVGG19モデルに対して、反復的で構造的でないマグニチュード剪定を用いてワーキングチケットを同定する。
• マグニチュードベースのマスク $m$ で定義されるスパースな部分ネットワークを抽出し、$m_{i} = 1$ となる重みのみを保持する。
• 微調整の際、畳み込み層を凍結するか、全層を微調整するかの条件で、スパースな部分ネットワーク（$m \odot \theta_S$）を剪定済みの重みで初期化し、ターゲットデータセット（SmallNORB, FashionMNIST）で微調整する。
• 剪定後に元の初期化にリセットした部分ネットワーク（$m \odot \theta_0$）と、剪定済みのソース重みで初期化した部分ネットワーク（$m \odot \theta_S$）の性能を比較する。
• 反復的剪定（繰り返しの剪定と再訓練）とワンショット剪定（1回の剪定ステップ）を用い、スパースネスと精度のトレードオフ、およびロバストネスを評価する。
• 元のLTHの修正版として、転移学習の文脈に特化した「チケット転移仮説」を形式化する。

実験結果

リサーチクエスチョン

• RQ1 構造的でないマグニチュード剪定によりソースタスク（CIFAR-10）で同定されたワーキングチケットが、異なるターゲットタスク（SmallNORB, FashionMNIST）に同等またはより高い精度で効果的に転移可能か？
• RQ2 微調整の際、完全結合層のみを微調整するか、全ネットワークを微調整するかによって、転送されたワーキングチケットの性能に差が生じるか？
• RQ3 反復的剪定とワンショット剪定を比較した場合、高スパースネスと高精度を両立できる転移可能なワーキングチケットを同定する上で、どちらが優れているか？
• RQ4 VGG19のようなより大きなアーキテクチャから得たワーキングチケットは、下流タスクに効果的に転移可能か、それともタスク固有の特性に限定されるか？
• RQ5 元のロットリーチケット初期化（$m \odot \theta_0$）は転移後に依然として有効か、それともソースタスクで学習済みの重み初期化（$m \odot \theta_S$）の方が優れた結果をもたらすか？

主な発見

• SmallNORBへの転移において、反復的剪定を用いたワーキングチケットは、パラメータの最小5.5%を保持しながらも、90.2%のテスト精度を達成した。
• 全ネットワークを微調整した場合、FashionMNISTにおけるResNet18の最良なワーキングチケットは、パラメータの6.9%しか保持しなくても、91.7%のテスト精度を達成した。
• 剪定済みのソース重み（$m \odot \theta_S$）で初期化された部分ネットワークは、元の初期化にリセットした場合（$m \odot \theta_0$）よりも、下流タスクで一貫して優れた性能を示した。
• 反復的剪定はワンショット剪定よりも顕著にスパースで、かつより高い精度のワーキングチケットを生成した。一方、ワンショット剪定はSmallNORBにおいていかなるスパースネスレベルでもワーキングチケットを同定できなかった。
• VGG19から得たワーキングチケットは、全ネットワークを微調整した場合、いかなる剪定レベルでも下流タスクで同等の精度を達成できず、転移がうまくいかなかった。
• リセットされた初期化のワーキングチケット（$m \odot \theta_0$）の性能は著しく低下しており、転送性を確保するにはソースタスクで学習済みの重みが不可欠であることが示された。