[論文レビュー] Factors in Finetuning Deep Model for object detection

Wanli Ouyang, Xiaogang Wang+2 more|arXiv (Cornell University)|Jan 20, 2016

Advanced Neural Network Applications参考文献 45被引用数 6

ひとこと要約

本稿では、長尾クラス分布下でのオブジェクト検出のための深層モデルの微調整を向上させるため、段階的階層的特徴学習アプローチを提案する。オブジェクトクラスを視覚的に類似したグループにクラスタリングし、段階的に特徴の specificity を高める微調整を実施することで、推論コストを著しく増加させることなく ImageNet で 4.7% の mAP の絶対的向上を達成した。

ABSTRACT

Finetuning from a pretrained deep model is found to yield state-of-the-art performance for many vision tasks. This paper investigates many factors that influence the performance in finetuning for object detection. There is a long-tailed distribution of sample numbers for classes in object detection. Our analysis and empirical results show that classes with more samples have higher impact on the feature learning. And it is better to make the sample number more uniform across classes. Generic object detection can be considered as multiple equally important tasks. Detection of each class is a task. These classes/tasks have their individuality in discriminative visual appearance representation. Taking this individuality into account, we cluster objects into visually similar class groups and learn deep representations for these groups separately. A hierarchical feature learning scheme is proposed. In this scheme, the knowledge from the group with large number of classes is transferred for learning features in its sub-groups. Finetuned on the GoogLeNet model, experimental results show 4.7% absolute mAP improvement of our approach on the ImageNet object detection dataset without increasing much computational cost at the testing stage.

研究の動機と目的

• 希少クラスが過小表現され、学習が不十分となる長尾クラス分布の問題に対処すること。
• オブジェクトクラス間のサンプル不均衡が、深層モデルの微調整における特徴学習に与える影響を調査すること。
• 一様な共有表現ではなく、視覚的に類似したクラスグループごとに特化した特徴を学習することで、希少クラスの検出性能を向上させること。
• 一般から特定へと段階的に知識を転送する、段階的階層的微調整戦略を開発し、特徴の識別能を向上させること。
• 推論時における計算コストを最小限に抑えつつ、顕著な mAP 向上を達成すること。

提案手法

• 哺乳類や車両など、判別的な視覚的外観に基づいてオブジェクトクラスを視覚的に類似したグループにクラスタリングする。
• 段階的階層的微調整スキームを実装し、モデルを段階的に訓練する：200クラス（レベル1）、4グループ（レベル2）、7グループ（レベル3）、18グループ（レベル4）。
• より高いレベルのモデル（例：レベル3 や レベル4）を、より低いレベルのモデル（例：レベル1 や レベル2）のパラメータを用いて微調整することで、一般から特定への知識転送を可能にする。
• 各レベルでバウンディングボックスの除外処理を適用し、候補領域の数を削減することで、推論コストを抑える。レベル4では平均して1画像あたり5.6個のボックスにまで減少している。
• バックボーンに GoogLeNet を使用し、ImageNet 検出データセットで微調整し、ILSVRC14 の検証セットで評価する。
• 粗いレベルから細かいレベルへと段階的に微調整を行う戦略を最適化し、ImageNet プリトレイン済モデルを小さなグループに直接微調整するのを避ける。

実験結果

リサーチクエスチョン

• RQ1 長尾クラス分布は、オブジェクト検出の微調整における特徴学習にどのように影響を与えるか？
• RQ2 すべてのクラスに対して共有の特徴表現を学習することは、希少な長尾クラスの性能を損なうのか？
• RQ3 視覚的に類似したクラスをグループ化し、階層的に特徴を学習することで、特に希少クラスの検出精度が向上するか？
• RQ4 最適な微調整戦略は何か？直接小グループに微調整するのではなく、中間レベルを経由する段階的微調整か？
• RQ5 標準的な微調整と比較して、階層的カスケードは計算コストを抑えつつ mAP を向上させるのか？

主な発見

• 提案された階層的微調整アプローチを用いることで、標準的な微調整と比較して ImageNet オブジェクト検出データセットで 4.7% の mAP の絶対的向上を達成した。
• mAP はレベル1の 40.3% からレベル4の 45% まで上昇し、階層の深さが増すにつれて一貫した向上が確認された。
• 200クラスで事前学習されたモデル（レベル1）から微調整を行うことで、小さなグループ（例：レベル2の4グループ）に直接微調整するよりも高い性能が得られ、知識転送の利点が示された。
• レベル4では、1モデルあたりの画像あたりの候補ボックスの平均数が 5.6 個にまで低下し、全体で1画像あたり約100個のボックスが使用されるにとどまり、推論コストが低いことが示された。
• PASCAL VOC 2007 では、オブジェクトクラスを4グループにクラスタリングした場合、1.2% の mAP 向上を達成した。
• 広いグループから細かいグループへと段階的に微調整するカスケード戦略は、200クラスから小グループへの急激なジャンプよりも優れた性能を示し、段階的専門化の重要性を確認した。