[論文レビュー] Do More Dropouts in Pool5 Feature Maps for Better Object Detection

Zhiqiang Shen, Xiangyang Xue|arXiv (Cornell University)|Sep 24, 2014

Advanced Neural Network Applications参考文献 29被引用数 7

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）のpool5層における情報量の少ない特徴マップを、最大エントロピー原理を用いて選択的に削除する、新しい特徴編集手法を提案する。この手法により、特徴の識別能が向上し、オブジェクト検出性能が向上する。不要または混乱を招く概念（例：テクスチャ、素材）に対応するチャネルを削除することで、計算コストを最小限に抑えつつ一般化性能を向上させ、単純な線形SVMを用いてPASCAL VOC 2007で60.1%の最先端のmAPを達成した。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have gained great success in image classification and object detection. In these fields, the outputs of all layers of CNNs are usually considered as a high dimensional feature vector extracted from an input image and the correspondence between finer level feature vectors and concepts that the input image contains is all-important. However, fewer studies focus on this deserving issue. On considering the correspondence, we propose a novel approach which generates an edited version for each original CNN feature vector by applying the maximum entropy principle to abandon particular vectors. These selected vectors correspond to the unfriendly concepts in each image category. The classifier trained from merged feature sets can significantly improve model generalization of individual categories when training data is limited. The experimental results for classification-based object detection on canonical datasets including VOC 2007 (60.1%), 2010 (56.4%) and 2012 (56.3%) show obvious improvement in mean average precision (mAP) with simple linear support vector machines.

研究の動機と目的

• オブジェクト検出における細分化されたCNN特徴とオブジェクト概念との間の対応の欠如を解消すること。
• 分類に役立たない、あるいは誤解を招く特徴ユニットを削除することで、限られた学習データ下でのモデル一般化性能を向上させること。
• データ拡張やモデル再訓練なしに、低複雑性の方法で特徴表現を向上させること。
• pool5層から特定の概念的に無関係な特徴を削除することで、標準ベンチマーク上で検出性能が向上することを実証すること。

提案手法

• 最大エントロピー原理を適用し、無関係または混乱を招く概念（例：鏡面反射、ドットアレイ）に対応するpool5層（6×6×256）の特徴チャネルを特定・削除する。
• 学習サンプル全体にわたる各特徴チャネルの活性化確率分布を計算し、それがオブジェクトカテゴリに対してどの程度関連しているかを推定する。
• エントロピーが最も低い（情報量が少なく、クラス間で一貫性が低い）チャネルを削除して、編集済み特徴セットを生成する。
• 元の特徴と編集済み特徴を統合したセットを用いて線形SVM分類器を学習し、識別能と一般化性能を向上させる。
• 可視化技術を用いて、どの特徴チャネルが削除されたかを分析し、それらがターゲットオブジェクトカテゴリに対して無関係であることを確認する。
• データ拡張（例：画像のずれ）と比較することで、データレベルの操作よりも特徴レベルの編集が優れていることを検証する。

実験結果

リサーチクエスチョン

• RQ1 CNNのpool5層における情報量の少ない特徴チャネルを意図的に削除することで、オブジェクト検出性能を向上させることができるか？
• RQ2 pool5におけるどの種類の特徴（例：テクスチャ、素材、形状）が分類に悪影響を及べており、安全に削除可能か？
• RQ3 エントロピーに基づく特徴編集は、画像のずれなどのデータ拡張技術よりも、検出mAPの向上に優れているか？
• RQ4 モデル再訓練なしに、編集済み特徴上で学習した単純な線形SVMが、PASCAL VOCベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、PASCAL VOC 2007のテストセットで平均平均精度（mAP）60.1%を達成し、以前に発表された結果を上回った。
• VOC 2010およびVOC 2012では、それぞれmAPが56.4%および56.3%を達成し、同じデータセット上でベースラインのR-CNN（53.7%および53.3%）を上回った。
• 牛や犬などの大きなオブジェクトの検出性能が顕著に向上し、精度が向上し、誤検出が減少した。
• 可視化により、削除された特徴が、たるんだテクスチャや背景に似たパターンといった無関係な概念に対応していることが確認された。
• 画像のずれをデータ拡張戦略として用いることで性能が低下した。これは、特徴レベルの編集がランダムな画像変換よりも効果的であることを示している。
• 元の特徴と編集済み特徴の統合セットは、編集済み特徴のみを用いた場合よりも一般化性能が優れており、補完的表現の組み合わせによる利点が確認された。