[論文レビュー] Feature Representation in Convolutional Neural Networks

Ben Athiwaratkun, Keegan Kang|arXiv (Cornell University)|Jul 8, 2015

Advanced Neural Network Applications参考文献 9被引用数 79

ひとこと要約

本論文は、画像分類のための従来の機械学習モデル（ランダムフォレストやSVM）と組み合わせた場合、最適でないか、未熟に訓練されたCNNの低層畳み込み特徴量が、最終層の全結合層特徴量（例：最終全結合層）を上回ることを示している。主な貢献は、CNN特徴量、特に初期層からの特徴量が、元のCNN自体よりも高い精度を達成できることを示したことであり、転移学習のより効率的で効果的な代替手段を提供している。

ABSTRACT

Convolutional Neural Networks (CNNs) are powerful models that achieve impressive results for image classification. In addition, pre-trained CNNs are also useful for other computer vision tasks as generic feature extractors. This paper aims to gain insight into the feature aspect of CNN and demonstrate other uses of CNN features. Our results show that CNN feature maps can be used with Random Forests and SVM to yield classification results that outperforms the original CNN. A CNN that is less than optimal (e.g. not fully trained or overfitting) can also extract features for Random Forest/SVM that yield competitive classification accuracy. In contrast to the literature which uses the top-layer activations as feature representation of images for other tasks, using lower-layer features can yield better results for classification.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）から抽出した特徴量が、元のCNNの精度を超えて画像分類性能を向上させることができるかどうかを調査すること。
• 特に低層特徴量とトップ層特徴量を比較することにより、CNNの異なる層からの特徴量の有効性を評価すること。
• 最適でないか、過学習を示すCNNが、下流タスクのための有効な特徴抽出器として機能し続けるかどうかを検討すること。
• 従来の機械学習モデル（ランダムフォレスト、SVM）が、CNNから得た特徴量を学習対象とすることで、元のCNN自身の分類性能を上回ることを示すこと。
• DeConvNetなどの可視化技術を用いて学習された特徴量の解釈可能性を高め、生物学的分類タスクを支援すること。

提案手法

• ReLU活性化関数、マックスプーリング、モーメンタムを用いた確率的勾配降下法を用い、121クラスのプランクトン画像データセット上で3つのカスタムCNNアーキテクチャ（CNN1、CNN2、CNN3）を訓練した。
• 各訓練済みCNNの複数の層から特徴マップを抽出し、初期（畳み込み）層と後期（全結合）層の両方を含めた。
• 抽出された特徴マップを、CNNの最終的なソフトマックス層に依存せず、従来の分類器（ランダムフォレスト、SVM）の入力として使用した。
• 学習された特徴量の可視化と解釈を図るために、DeConvNet（逆畳み込みネットワーク）を適用した。これにより、特徴パターンとプランクトンの視覚的特徴を関連づけた。
• 特徴ベクトルに基づいて階層的クラスタリングを実施し、視覚的類似性を反映する系統樹図（デンドログラム）を生成した。
• 標準指標（正解率）を用いて性能を評価し、CNNのみのモデルとCNN特徴量ベースのモデルの間で結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 従来の機械学習モデル（例：ランダムフォレストやSVM）と組み合わせた場合、最終全結合層特徴量よりも、CNNの低層からの特徴量が、より高い分類性能を示すことができるか？
• RQ2 最適でないか、過学習を示すCNNであっても、その特徴量が、ランダムフォレストやSVMと組み合わせた際に、自身の分類精度を上回る性能を達成できるか？
• RQ3 特に初期層からのCNN特徴量は、データが限られた画像分類タスクにおいて、転移学習に効果的に利用できるか？
• RQ4 学習された特徴量の視覚的パターンは、入力画像の生物学的または視覚的特徴とどのように関連しているか？また、それらは系統的分類を支援できるか？
• RQ5 従来のモデルと組み合わせたCNN特徴量の使用は、CNN自身の分類ヘッドを使用する場合と比較して、顕著な性能向上をもたらすか？

主な発見

• ランダムフォレストやSVMに、最初または2番目のマックスプーリング後の低層畳み込み層からの特徴量を用いることで、最終全結合層特徴量を上回る分類精度が達成された。
• 完全に訓練されていない、または過学習の兆候を示すCNNでも、その特徴量を用いることで、ランダムフォレストやSVMが元のCNNの精度を上回るか、同等の精度を達成した。
• CNN特徴量と従来のモデル（ランダムフォレスト／SVM）の組み合わせが、プランクトンデータセットにおいて、元のCNN自身の分類性能を上回った。
• 特徴ベクトルに基づく階層的クラスタリングにより、類似したクラス同士が有意義なグループ化がなされ、類似したクラスでは特徴活性化が強く相関していた。
• DeConvNetを用いた特徴可視化により、特定の特徴（例：特徴5および36）が「膜」や「多孔質の体」のような解釈可能な視覚的パターンに対応していることが示され、生物学的解釈可能性が裏付けられた。
• 特徴類似性に基づいて生成された系統樹図は、視覚的類似性とよく一致しており、CNN特徴量が生物学的分類のための「二叉分類キー」として機能できることを示唆している。