[論文レビュー] Learning Mid-Level Features and Modeling Neuron Selectivity for Image Classification

Shu Kong, Zhuolin Jiang+1 more|arXiv (Cornell University)|Jan 22, 2014

Neural Networks and Applications参考文献 32被引用数 3

ひとこと要約

この論文では、k-means、畳み込み、プーリング、ベクトル量子化などの基本的演算を用いて、中レベルの画像特徴を学習するシンプルで効率的な非教師あり手法であるMidFeaを提案する。さらに、カテゴリ固有のニューロン応答をモデル化するNeuron Selectivity (NS) レイヤーを導入し、高速な推論を可能にするとともに、顔認識、性別分類、年齢推定、オブジェクト分類の分野で最先端の性能を達成した。この手法は、スパースコーディングに基づく手法よりも10倍以上高速に動作する。

ABSTRACT

We now know that mid-level features can greatly enhance the performance of image learning, but how to automatically learn the image features efficiently and in an unsupervised manner is still an open question. In this paper, we present a very efficient mid-level feature learning approach (MidFea), which only involves simple operations such as $k$-means clustering, convolution, pooling, vector quantization and random projection. We explain why this simple method generates the desired features, and argue that there is no need to spend much time in learning low-level feature extractors. Furthermore, to boost the performance, we propose to model the neuron selectivity (NS) principle by building an additional layer over the mid-level features before feeding the features into the classifier. We show that the NS-layer learns category-specific neurons with both bottom-up inference and top-down analysis, and thus supports fast inference for a query image. We run extensive experiments on several public databases to demonstrate that our approach can achieve state-of-the-art performances for face recognition, gender classification, age estimation and object categorization. In particular, we demonstrate that our approach is more than an order of magnitude faster than some recently proposed sparse coding based methods.

研究の動機と目的

• 複雑な低レベル特徴学習に依存せずに、シンプルで効率的かつ非教師ありの方法で中レベル画像特徴を学習すること。
• 構造的スパース学習フレームワーク内でニューロン選択性をモデル化することで、画像分類性能を向上させること。
• ボトムアップおよびトップダウンのNSレイヤーを用いて高速な推論を実現し、リアルタイム応用を可能とすること。
• 複雑なハンドクラフト特徴やディープラーニング手法に匹敵またはそれを上回る精度を達成するが、はるかに高速なシンプルな特徴学習が可能であることを示すこと。

提案手法

• MidFeaは、SIFTなどの低レベル特徴に対してk-meansクラスタリングを適用してコードブックを構築し、その後畳み込みとマックスプーリングを施して中レベル特徴を生成する。
• ソフト畳み込みとベクトル量子化を適用することで、顕著なオブジェクト領域を強調し、背景ノイズを低減する。
• 中レベル特徴上に構造的スパース学習レイヤーとしてNeuron Selectivity (NS) レイヤーを導入し、カテゴリ固有のニューロン活性化をモデル化する。
• NSレイヤーはボトムアップ推論とトップダウン解析の両方をサポートし、最小限の計算量で高速な分類を実現する。
• ランダムプロジェクションと階層的プーリング（3段階のピラミッド）を用いて、空間的および意味的情報を保持する。
• 目的関数には再構成誤差、スパarsity、およびニューロン選択性の項を組み合わせ、ハイパーパrameter α, β, γ, λ を用いて最適化する。

実験結果

リサーチクエスチョン

• RQ1 k-meansや畳み込みといった基本的演算に依存するシンプルな非教師あり特徴学習手法が、複雑なハンドクラフト特徴やディープラーニング特徴を上回る中レベル表現学習性能を達成できるか？
• RQ2 中レベル特徴空間においてニューロン選択性をモデル化することで、分類精度と推論速度が向上するか？
• RQ3 α, β, γ, λ およびNSレイヤー内のニューロン数といった主要ハイパーパrameterの変化に対して、性能はどれほど感受性を示すか？
• RQ4 提案手法は、従来のスパースコーディングに基づく手法よりも10倍以上高速である一方で、最先端の性能を達成できるか？

主な発見

• MidFeaは、Caltech101、Caltech256、AR、およびその他の公開データベースにおいて、顔認識、性別分類、年齢推定、オブジェクト分類の分野で最先端の性能を達成した。
• スパースコーディングに基づく手法（例：ScSPM）と比較して、同等またはより高い精度を達成しながらも、10倍以上高速に動作した。
• NSレイヤーによりカテゴリ固有のニューロン活性化が可能となり、分類性能が向上した。特に性別分類では、わずか6ニューロンでピーク精度に到達した。
• ハイパーパrameterの変化に対してモデルは頑健であり、α, β, γ, λ の広い範囲で安定した性能を示した。
• Soft畳み込みとプーリングのおかげで、MidFeaの特徴マップはSIFTベースのScSPMと比較して、オブジェクト領域に焦点を当て、背景の雑音をより効果的に抑制した。
• 複雑な低レベル特徴学習が必ずしも必要ではないことが示された。シンプルな中レベル特徴学習にNSレイヤーを組み合わせることで、強力な性能が得られることが明らかになった。