[論文レビュー] SNN: Stacked Neural Networks

Milad Mohammadi, Subhasis Das|arXiv (Cornell University)|May 27, 2016

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 7

ひとこと要約

本論文では、複数の事前学習済みCNN（例：VGG、GoogLeNet、Places、NIN）の特徴を積み重ねることで、転移学習の精度を顕著に向上させる、新しいアーキテクチャ「スタックドニューラルネットワーク（S-NN）」を提案する。単一の事前学習済みネットワークを用いた最先端手法と比較して、最大8%の精度向上を達成する。さらに、一般化性能を維持したままマルチタスク適応を可能にする「ジョイントファインチューニング」を導入する。

ABSTRACT

It has been proven that transfer learning provides an easy way to achieve state-of-the-art accuracies on several vision tasks by training a simple classifier on top of features obtained from pre-trained neural networks. The goal of this work is to generate better features for transfer learning from multiple publicly available pre-trained neural networks. To this end, we propose a novel architecture called Stacked Neural Networks which leverages the fast training time of transfer learning while simultaneously being much more accurate. We show that using a stacked NN architecture can result in up to 8% improvements in accuracy over state-of-the-art techniques using only one pre-trained network for transfer learning. A second aim of this work is to make network fine- tuning retain the generalizability of the base network to unseen tasks. To this end, we propose a new technique called "joint fine-tuning" that is able to give accuracies comparable to finetuning the same network individually over two datasets. We also show that a jointly finetuned network generalizes better to unseen tasks when compared to a network finetuned over a single task.

研究の動機と目的

• 個々の事前学習済みネットワークからの特徴よりも、より優れた、一般化可能な特徴を生成することにより、転移学習の精度を向上させること。
• 重複のない複数の事前学習済みネットワークからの特徴を組み合わせることで、多様なビジョンタスクにおいて優れた性能を達成できるかどうかを調査すること。
• ファインチューニング中に事前学習済みネットワークの一般化能力を維持する方法を開発すること、特に複数のタスクへの適応において。
• S-NNのアンサンブルスタックが、単一のS-NNよりもさらに性能を向上させるかどうかを評価すること。
• 軽量な2ネットワークスタックを含む、スタックドアーキテクチャにおける計算コストと精度のトレードオフを調査すること。

提案手法

• VGG16、GoogLeNet、Places、NINなどの複数の事前学習済みCNNの最終全結合層出力（例：fc7またはpool4）を連結することで、分類用の単一の特徴ベクトルを生成する。
• ベースネットワークを更新せずに、スタックされた特徴上で線形SVM分類器を訓練し、さまざまなビジョンデータセットでの性能を評価する。
• 「ジョイントファインチューニング」を導入：2つの異なるデータセットに対して1つのネットワークを同時にファインチューニングすることで、一般化性能を維持しつつ、個別にファインチューニングした場合と同等の性能を達成する。
• 各ネットワークの特徴ベクトルを、そのネットワークが特定のデータセットで達成する個別精度に比例する学習可能な重みでスケーリングすることで、重み付きスタックを実装する（例：GoogLeNetの精度が最良ネットワークの半分の場合、重みは0.5）。
• 複数の独立して訓練されたS-NNモデルの予測を平均化することで、アンサンブルS-NNを評価し、性能を向上させる。
• 将来的な方向性として、共有勾配ブロードキャストを用いたスタックドネットワークの並列学習や、データ拡張による精度向上の可能性を検討する。

実験結果

リサーチクエスチョン

• RQ1 重複のない複数の事前学習済みCNNからの特徴を組み合わせることで、単一のネットワークを用いた場合と比較して、転移学習の精度が顕著に向上するか？
• RQ2 多様なビジョンデータセットに普遍的に適応する最適な事前学習済みネットワークの組み合わせが存在するか、それとも最良の組み合わせはデータセットごとに異なるか？
• RQ3 2つのデータセットに対して1つのネットワークを同時にファインチューニングすることで、個別にファインチューニングした場合と比較して、一般化性能が維持されたり向上するか？
• RQ4 個々のネットワークの精度に応じて特徴を重み付けする重み付きスタックにより、性能が低いネットワークの悪影響を軽減できるか？
• RQ5 並列学習やデータ拡張により、スタックドニューラルネットワークの性能をさらに向上させられるか？

主な発見

• VGG16、GoogLeNet、Places、NINなどの複数の事前学習済みネットワークからの特徴をスタックすることで、単一の事前学習済みネットワークを用いた場合と比較して、分類精度が最大8%向上した。
• 2ネットワークのS-NNスタックは、5ネットワークスタックと同等の性能を達成したが、計算コストを顕著に低減した。
• 1つのネットワークを2つのデータセットに対してジョイントファインチューニングすることで、個別にファインチューニングした場合とほぼ同等の分類精度が得られた。
• ジョイントファインチューニングされたネットワークからの特徴は、個別にファインチューニングされたネットワークの特徴よりも、未学習のタスクへの一般化性能が優れていた。
• 複数のS-NNモデルをアンサンブル化することで、スタックのみの手法よりも顕著な性能向上が達成された。
• 個々のネットワークの精度に比例して特徴をスケーリングする重み付きスタックにより、性能が低いネットワークの悪影響が軽減された。