[論文レビュー] Diving deeper into mentee networks

Ragav Venkatesan, Baoxin Li|arXiv (Cornell University)|Apr 27, 2016

Advanced Neural Network Applications参考文献 5被引用数 14

ひとこと要約

本稿では、複数の層にわたり、より大きな事前学習済みの「メンター」ネットワークからの活性化パターンを模倣することで、より小さい・浅い「メンtee」ネットワークをゼロから訓練する、画期的なメンタリング学習フレームワークを提案する。層ごとの不一致損失を適用することで、小規模データセットや高い学習率でも、一般化性能が優れ、安定した学習が達成される。これは、標準的な正則化法や独立して訓練されたネットワークを上回る性能を発揮する。

ABSTRACT

Modern computer vision is all about the possession of powerful image representations. Deeper and deeper convolutional neural networks have been built using larger and larger datasets and are made publicly available. A large swath of computer vision scientists use these pre-trained networks with varying degrees of successes in various tasks. Even though there is tremendous success in copying these networks, the representational space is not learnt from the target dataset in a traditional manner. One of the reasons for opting to use a pre-trained network over a network learnt from scratch is that small datasets provide less supervision and require meticulous regularization, smaller and careful tweaking of learning rates to even achieve stable learning without weight explosion. It is often the case that large deep networks are not portable, which necessitates the ability to learn mid-sized networks from scratch. In this article, we dive deeper into training these mid-sized networks on small datasets from scratch by drawing additional supervision from a large pre-trained network. Such learning also provides better generalization accuracies than networks trained with common regularization techniques such as l2, l1 and dropouts. We show that features learnt thus, are more general than those learnt independently. We studied various characteristics of such networks and found some interesting behaviors.

研究の動機と目的

• 小規模データセット上で中規模のディープネットワークをゼロから訓練する課題に対処すること。標準的な正則化法では、監視信号が不十分なためにしばしば失敗する。
• 大規模な事前学習済みネットワークからのマルチレイヤー監視を活用することで、小規模データ環境における一般化性能と学習の安定性を向上させること。
• 複数のネットワーク深さにわたりメンタリングを行うことで、単一レイヤーの distillation や従来の正則化法よりも優れた特徴表現が得られるかどうかを検証すること。
• 本マルチレイヤーメンタリング方式で訓練されたメンteeネットワークの転移可能性と自己教師学習の潜在能力を評価すること。

提案手法

• メンteeネットワークは、最終層における標準的な交差エントロピー損失に加え、メンteeの内部層活性化と、事前学習済みメンターの対応する活性化との間の不一致損失を組み合わせた損失関数を用いて訓練される。
• 複数の深さ（例：最初の畳み込み層、第二の隠れ層）で層ごとの distillation が適用され、メンターの活性化がメンteeの特徴マップの監視として機能する。
• 本手法では、メンターの影響力の強さを制御する3つのメンteeネットワークのパーソナリティタイプを導入する：「無条件従順型（gullible）」、「従順型（obedient）」、「反骨型（adamant）」。
• 本アプローチにより、小規模なミニバッチや高い学習率でも安定した学習が可能となり、重みの爆発リスクが低減される。
• 教師なしメンタリングは、真のラベルなしで同じ distillation 損失を適用し、ラベルなしデータからのメンターの特徴マップのみを用いて検証される。
• 本フレームワークは、CIFAR-10、CIFAR-100、MNIST、Caltech101/256 データセットを対象に評価され、性能、一般化、特徴の転移可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みメンターからのマルチレイヤー distillation は、ゼロから訓練された小さなネットワークの一般化性能を顕著に向上させるか？
• RQ2 複数のネットワーク深さにわたりメンタリングを行うことは、単一レイヤーの distillation や標準的な正則化法と比較して、学習の安定性や収束速度にどのような差をもたらすか？
• RQ3 非常に小規模なデータセットで、あるいは教師なしで訓練された場合でも、メンteeネットワークが一般化可能で転移可能な特徴をどれほど学習できるか？
• RQ4 異なるメンteeネットワークのパーソナリティ（gullible, obedient, adamant）が、メンターの監視下で訓練中に示す特徴的な行動様式は何か？

主な発見

• CIFAR-100では、マルチレイヤーメンタリングで訓練されたメンteeネットワークが、独立して訓練されたベースラインよりも顕著な精度向上を達成した。特にデータが限られた状況で顕著であった。
• 同じ数の訓練イテレーションと学習率を使用しても、L2、L1、ドロップアウトといった標準的な正則化法よりも、メンteeネットワークの一般化性能が優れていた。
• CIFAR-10で4万枚の訓練画像しか使用しなかった場合、メンタリングによる利益は限定的であった。これは、十分なデータが利用可能な状況ではメンタリングの恩恵が薄れる傾向にあることを示唆している。
• Caltech101/256では、メンteeネットワークが独立ベースラインを上回る性能を発揮した。特に分類器ヘッドのみをファインチューニングした場合に顕著であり、学習された特徴の汎用性を裏付けた。
• わずか1エポックの訓練後、無条件従順型メンteeネットワークの第一層フィルタは、VGG-19メンターのそれと非常に近い形状を示し、初期のランダム状態（6.54）からRMSEが0.0023にまで低下した。
• 「反骨型」メンteeでさえも、VGG-19と同様にコーナー検出特徴を学習しており、一般化された特徴が異なるデータセット間で非常に転移可能であることが示された。