[論文レビュー] SVM and ELM: Who Wins? Object Recognition with Deep Convolutional Features from ImageNet

Lei Zhang, David Zhang|arXiv (Cornell University)|Jun 8, 2015

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 9

ひとこと要約

本論文は、事前に訓練されたImageNet CNNから抽出された深層畳み込み特徴を用いて、オブジェクト認識におけるサポートベクターマシン（SVMs）とエクストリーム・ラーニング・マシン（ELMs）の性能を評価する。クロスドメインのデータセットを用いた実験では、カーネルELMsが平均精度でSVMsを約4%上回ることを示し、転移学習のシナリオにおいて深層特徴に対してより効果的な分類器であることが明らかになった。

ABSTRACT

Deep learning with a convolutional neural network (CNN) has been proved to be very effective in feature extraction and representation of images. For image classification problems, this work aim at finding which classifier is more competitive based on high-level deep features of images. In this report, we have discussed the nearest neighbor, support vector machines and extreme learning machines for image classification under deep convolutional activation feature representation. Specifically, we adopt the benchmark object recognition dataset from multiple sources with domain bias for evaluating different classifiers. The deep features of the object dataset are obtained by a well-trained CNN with five convolutional layers and three fully-connected layers on the challenging ImageNet. Experiments demonstrate that the ELMs outperform SVMs in cross-domain recognition tasks. In particular, state-of-the-art results are obtained by kernel ELM which outperforms SVMs with about 4% of the average accuracy. The features and codes are available in http://www.escience.cn/people/lei/index.html

研究の動機と目的

• 深層畳み込み特徴を用いたオブジェクト認識におけるSVMとELMの性能を比較すること。
• ドメインバイアスを含むベンチマークデータセットを用いて、ドメインシフト下での分類器の有効性を評価すること。
• 事前に訓練されたCNNからのハイレベル特徴に適用した場合に、ELMsが従来のSVMsを上回る可能性があるかどうかを特定すること。
• 再現可能性およびさらなる研究を可能にするために、深層特徴とコードをオープンソースで提供すること。

提案手法

• ImageNetで事前訓練された5層の畳み込み層、3層の全結合層からなるCNNから深層畳み込み特徴を抽出する。
• 最終的な全結合層の活性化出力を分類のためのハイレベル画像表現として使用する。
• ドメインバイアスのある複数のデータセットで、これらの深層特徴に対してSVMおよびELM分類器を学習・評価する。
• 非線形の決定境界を強化するために、径路基底関数（RBF）カーネルを用いたカーネルELMを実装する。
• 公平な分類器間比較を保証するため、交差検証と標準的な評価プロトコルを適用する。
• すべての実験において同一の特徴表現と学習プロトコルを用いることで、分類器性能の差を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 事前に訓練されたCNNからの深層特徴を用いた画像分類において、ELMはSVMを上回るか？
• RQ2 ドメインバイアスが存在する状況下で、SVMとELMはどのように一般化性能を示すか？
• RQ3 ImageNetからの深層特徴に対して、カーネルELMはSVMと比較して最先端の性能を達成できるか？
• RQ4 転移学習のシナリオにおいて、ELMはSVMに対してどの程度の相対的精度向上を示すか？

主な発見

• カーネルELMsはクロスドメインオブジェクト認識タスクにおいて、SVMsと比較して平均精度で約4%高い性能を達成した。
• ドメインバイアスを含むデータセットでテストした際、ELMsはSVMsと比較して優れた一般化性能を示した。
• 本研究で提案された手法は、事前に訓練されたImageNet CNNからの深層特徴を用いて最先端の結果を達成した。
• ELMベースのアプローチは、特に学習段階でSVMsよりも計算的に効率的であった。
• ドメインシフトの程度が異なる複数のベンチマークデータセットにおいて、ELMsの性能向上は一貫していた。
• 著者らは深層特徴とコードを公開しており、再現性の確保およびさらなるベンチマーク作成を可能にした。