[論文レビュー] Good Practice in CNN Feature Transfer

Liang Zheng, Yali Zhao+3 more|arXiv (Cornell University)|Apr 1, 2016

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 127

ひとこと要約

この論文は、大きな入力サイズ、途中特徴のプーリング、複数CNN層間の特徴融合を活用して、画像検索と分類のためのCNN特徴転送の性能を向上させる方法を検討する。

ABSTRACT

The objective of this paper is the effective transfer of the Convolutional Neural Network (CNN) feature in image search and classification. Systematically, we study three facts in CNN transfer. 1) We demonstrate the advantage of using images with a properly large size as input to CNN instead of the conventionally resized one. 2) We benchmark the performance of different CNN layers improved by average/max pooling on the feature maps. Our observation suggests that the Conv5 feature yields very competitive accuracy under such pooling step. 3) We find that the simple combination of pooled features extracted across various CNN layers is effective in collecting evidences from both low and high level descriptors. Following these good practices, we are capable of improving the state of the art on a number of benchmarks to a large margin.

研究の動機と目的

• 事前学習済みCNN特徴が新しい画像検索/分類タスクへ効果的に転移できるよう動機づけ分析する。
• 入力画像サイズ、途中層のプーリング、および多層特徴融合の影響を評価する。
• ベンチマーク全体で転送性能を向上させる実践的な提言を提案する。

提案手法

• CNN層の特徴を平均プーリングまたは最大プーリングを用いてコンパクトなベクトルにする。
• 複数の層でプーリングした特徴を融合してマルチスケール情報を捉える。
• 画像検索には後期融合戦略（クエリアダプティブ・フュージョン）を使用し、クエリによって特徴重みを適応させる。
• VGGNet（およびAlexNet）でプーリングとサイズ効果を、10ベンチマーク（検索3件、分類7件）で評価する。
• アスペクト比を保持したスケール1.0の大きな入力プロトコルで訓練・評価し、224/227入力と比較する。

実験結果

リサーチクエスチョン

• RQ1 より大きな入力サイズの使用は、データセット全体でCNN特徴の転送性能を改善するか。
• RQ2 中間CNN層の平均プーリング/最大プーリングは、転送タスクの不変性と精度を向上させるか。
• RQ3 複数CNN層からのプーリング特徴の融合は、画像検索と分類に有益か。
• RQ4 転送設定におけるボトムのConv特徴はFC特徴とどう比較され、どのタスクで中間レベルの特徴が有利か。

主な発見

データセット	conv4+a/m プール	conv5+a/m プール	FC6+a/m プール	FC7+a/m プール	全層
Bird	53.20	73.40	72.78	70.64	76.35
Flower	88.01	94.73	94.07	92.05	95.62
Indoor	67.81	75.67	75.32	71.40	78.42
SUN	50.71	58.88	57.76	58.31	63.71
Cal-101	80.44	91.07	92.24	89.28	92.31
Cal-256	63.86	83.29	84.20	83.82	85.99
VOC’07	67.55	81.78	82.31	82.57	83.66
Holidays	70.25	80.71	78.46	79.43	84.20
Ukbench	3.23	3.77	3.69	3.73	3.75
Oxford	38.10	60.18	62.77	57.63	71.30

• より大きい入力画像は、データセット全体で検索と分類の精度を一貫して向上させる。
• Conv5特徴の平均プーリング（およびより小さい程度の最大プーリング）は、複数のタスクでFC特徴と同等かそれ以上の結果を生む。
• 複数のCNN層からのプーリング特徴の融合は、画像検索と分類の両方で一貫した改善をもたらす。
• Conv5＋プーリングは、転送タスクのいくつかでFC6/FC7に近づく、特に細分類とシーン分類で。
• 多層融合は Holidays, Ukbench, Oxford5k の mAP/N-Sスコアを著しく改善（例: Holidays のクエリ適応融合で +7.49% の mAP、Oxford5k +11.12%）。
• 分類のための7層にまたがる融合は、Bird, Flower, Indoor, SUN, Caltech-101, Caltech-256, VOC’07 で利得を生んだ（本文に明示的な利得を記載）。
• 画像検索では、提案手法はVGGで Holidays 84.2%、Oxford5k 71.3% のmAPを達成し、Ukbenchで 3.75 N-S。再ランキングによりこれらの値はさらに改善される。