[論文レビュー] How transferable are features in deep neural networks?

Jason Yosinski, Jeff Clune+2 more|arXiv (Cornell University)|Nov 6, 2014

Advanced Neural Network Applications参考文献 15被引用数 3,456

ひとこと要約

この論文は、ImageNetで訓練された深層CNNにおける層ごとの特徴転移性を定量化し、一般的な初期層とタスク固有の最終層、さらに最適化と共適応の効果を明らかにしている。

ABSTRACT

Many deep neural networks trained on natural images exhibit a curious phenomenon in common: on the first layer they learn features similar to Gabor filters and color blobs. Such first-layer features appear not to be specific to a particular dataset or task, but general in that they are applicable to many datasets and tasks. Features must eventually transition from general to specific by the last layer of the network, but this transition has not been studied extensively. In this paper we experimentally quantify the generality versus specificity of neurons in each layer of a deep convolutional neural network and report a few surprising results. Transferability is negatively affected by two distinct issues: (1) the specialization of higher layer neurons to their original task at the expense of performance on the target task, which was expected, and (2) optimization difficulties related to splitting networks between co-adapted neurons, which was not expected. In an example network trained on ImageNet, we demonstrate that either of these two issues may dominate, depending on whether features are transferred from the bottom, middle, or top of the network. We also document that the transferability of features decreases as the distance between the base task and target task increases, but that transferring features even from distant tasks can be better than using random features. A final surprising result is that initializing a network with transferred features from almost any number of layers can produce a boost to generalization that lingers even after fine-tuning to the target dataset.

研究の動機と目的

• 神経特徴の一般性と特異性を、タスク間の転移性として正式な指標として定義する。
• 深いCNNの層ごとに転移性がどう変化するかを特徴づける。
• 高次層の特化と共適応による最適化の難しさを含め、転移性能を低下させる要因を特定する。
• タスクの類似性が転移性にどう影響するかを評価し、ランダム特徴と比較する。
• ターゲットタスクでの微調整後、転移した特徴が一般化を改善できるかを探る。

提案手法

• 8層のCNNを用いて、ランダムに分割されたImageNetタスクペア A と B のベースネットワークを訓練する。
• ベースネットワークの最初の n 層を転移/凍結設定にコピーし、残りの層をターゲットタスクで訓練する。
• 一般性と特異性の効果を分離するため、凍結転送層とファインチューニング転送層を比較する。
• 複数の A/B 分割と、タスク距離を測るための人造物と自然クラスの異なる分割でも繰り返す。
• 凍結したベース特徴量（selffer）およびランダム初期化を比較対照として含める。
• 下層・中間層・上層からの転送を分析して、層ごとの一般性をマッピングする。

実験結果

リサーチクエスチョン

• RQ1 各層で学習された特徴は、別のターゲットタスクへの転移に対してどれくらい一般的か？
• RQ2 ネットワークのどこで一般的表現から特定表現への遷移が生じ、その遷移は層を越えてどれくらい鋭いか？
• RQ3 転移性能の低下を引き起こすメカニズムは何か：共適用性 vs. 特徴の特異性？
• RQ4 タスクの類似性/距離は、特に高次層の特徴 transferability にどう影響するか？
• RQ5 特徴を転送してから微調整することで、ターゲットタスクのみを訓練する場合より一般化を改善できるか？

主な発見

• 第一層および第二層の特徴は、類似タスク間でほぼ完璧に転移する。初期層の一般性を示す。
• 中間〜上位層は、共適合とタスク特異性の増大の両方により転移性が低下する。
• ベース-ターゲットタスク距離が大きくなると、特に高次層で転移性能が低下する。
• 特徴を転送してから微調整する（AnB+）は、ターゲットタスクのみを訓練する場合より一般化のブーストをもたらし、広範なファインチューニング後も持続する。
• 遠く離れたタスクから転送する方が、ランダム特徴を使用するよりも優れており、保持する層の範囲（1–7）にわたって利得が持続する。