[論文レビュー] Modelling Local Deep Convolutional Neural Network Features to Improve Fine-Grained Image Classification

Zongyuan Ge, Chris McCool+2 more|arXiv (Cornell University)|Feb 27, 2015

Advanced Neural Network Applications参考文献 11被引用数 4

ひとこと要約

本稿では、内部の全結合層の次元削減と選択的再訓練により、局所的深層畳み込みニューラルネットワーク（CNN）特徴をモデル化する手法を提案する。これにより、有効な混合ガウスモデル（GMM）適合が可能となり、FishおよびUEC FOOD-100データセットで最先端の性能を達成した。ベースラインの局所的モデリング比で相対的に14.9%の向上を達成し、食品認識タスクではランク-1精度が9.4%向上した。

ABSTRACT

We propose a local modelling approach using deep convolutional neural networks (CNNs) for fine-grained image classification. Recently, deep CNNs trained from large datasets have considerably improved the performance of object recognition. However, to date there has been limited work using these deep CNNs as local feature extractors. This partly stems from CNNs having internal representations which are high dimensional, thereby making such representations difficult to model using stochastic models. To overcome this issue, we propose to reduce the dimensionality of one of the internal fully connected layers, in conjunction with layer-restricted retraining to avoid retraining the entire network. The distribution of low-dimensional features obtained from the modified layer is then modelled using a Gaussian mixture model. Comparative experiments show that considerable performance improvements can be achieved on the challenging Fish and UEC FOOD-100 datasets.

研究の動機と目的

• 顕著なクラス内変動と低レベルのクラス間変動を示す細分類画像認識の課題に対処する。
• 従来の統計モデル（例：GMM）を用いた高次元の深層CNN特徴のモデリングにおける次元の呪いを克服する。
• 限られた細分類データを用いて、深層CNNの局所特徴抽出に適した効率的な手法を開発する。
• 低次元化され再訓練されたCNN層から抽出された局所特徴をGMMでモデリングすることで、分類精度を向上させる。

提案手法

• 事前学習済みCNNの内部全結合層（fc-6）の次元を削減し、GMMモデリングに有効な形にすること。
• 全ネットワークの再訓練を避けるために、削減された層に限定した再訓練（layer-restricted retraining）を適用し、計算コストを削減すること。
• 各画像の低次元局所特徴の分布を、混合ガウスモデル（GMM）でモデリングすること。
• 局所特徴表現の局所化能を向上させるために、特徴ベクトルに空間的位置（x,y）情報を組み込むことで、アプローチを拡張すること。
• クラス固有のモデリングのために、汎用背景モデル（UBM）と平均のみのMAP適応をGMMフレームワークで用いること。
• FishおよびUEC FOOD-100データセットで、ランク-n精度と標準プロトコルを用いて性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 内部層から抽出した低次元深層CNN特徴は、GMMを用いて細分類に有効にモデリング可能か？
• RQ2 次元削減された全結合層の層限定的再訓練は、全ネットワークの微調整に比べて特徴表現を向上させるか？
• RQ3 学習された深層特徴の局所的モデリングは、グローバル特徴表現に比べて細分類認識タスクで優れているか？
• RQ4 局所特徴に空間座標を組み込むことで、分類性能にどのような影響を与えるか？
• RQ5 本手法はFishおよびUEC FOOD-100といったベンチマーク細分類データセットで最先端の性能を達成できるか？

主な発見

• 提案手法のGMM-LDCNNは、プロトコル1aでFishデータセットで53.8%のランク-1精度を達成し、以前の最先端手法であるLocal GMM比で相対的に14.9%の向上を示した。
• UEC FOOD-100データセットでは、GMM-LDCNNが58.3%のランク-1精度を達成し、SVM-LDCNNベースライン比で9.4%の相対的向上を示した。
• 空間座標を統合した拡張版GMM-LDCNN-xyは、Fishデータセットでさらに性能向上を示し、局所特徴モデリングにおける空間的文脈の有効性を示した。
• 本手法は、グローバル特徴ベースライン（SVM-CNNおよびSVM-LDCNN）およびPCAで次元削減されたCNN特徴（GMM-PCA-CNN）の両方を、両データセットで上回った。
• ISVモデリングはUEC FOOD-100で性能向上を示さなかったが、これは閉じた集合性とクラスあたりの高密度なトレーニング画像数によるものと推定される。
• Fishデータセットの最適パラメータは、プロトコル1aでC=1024、B=128、NU=128、プロトコル1bでC=512、B=96、NU=128であった。