[論文レビュー] Part Detector Discovery in Deep Convolutional Neural Networks

Marcel Simon, Erik Rodner+1 more|arXiv (Cornell University)|Nov 12, 2014

Advanced Neural Network Applications参考文献 24被引用数 35

ひとこと要約

本稿では、再訓練を必要とせず、事前学習済みの深層畳み込みニューラルネットワークを用いて、細分類タスクにおいてオブジェクトの部分を自動で発見・局在化する手法であるPart Detector Discovery (PDD) を提案する。ImageNetで事前学習されたネットワークの勾配マップを分析し、活性化中心をアノテート済みの部分またはバウンディングボックスと関連付けることで、追加計算を最小限に抑えつつ、頑健な部分検出と分類を実現する。CUB-200-2011で62.5%の精度を達成し、真値の部分位置を使用した場合の上限62.7%にほぼ等しい性能を発揮する。

ABSTRACT

Current fine-grained classification approaches often rely on a robust localization of object parts to extract localized feature representations suitable for discrimination. However, part localization is a challenging task due to the large variation of appearance and pose. In this paper, we show how pre-trained convolutional neural networks can be used for robust and efficient object part discovery and localization without the necessity to actually train the network on the current dataset. Our approach called "part detector discovery" (PDD) is based on analyzing the gradient maps of the network outputs and finding activation centers spatially related to annotated semantic parts or bounding boxes. This allows us not just to obtain excellent performance on the CUB200-2011 dataset, but in contrast to previous approaches also to perform detection and bird classification jointly without requiring a given bounding box annotation during testing and ground-truth parts during training. The code is available at http://www.inf-cv.uni-jena.de/part_discovery and https://github.com/cvjena/PartDetectorDisovery.

研究の動機と目的

• 事前学習済みの深層CNNが、ImageNetのような関連のないデータセットで学習された後でも、一般的なオブジェクト部分を暗黙的に検出可能かどうかを調査すること。
• トレーニング時に部分アノテーションを必要とせず、推論時にバウンディングボックスアノテーションも不要な方法で、オブジェクト部分の発見と局在化を可能とすること。
• 事前学習済みモデルと最小限の適応のみを用いて、細分類タスクにおける部分検出と分類の統合を可能とすること。
• トレーニング時に真値の部分ラベルを用いずに部分検出器を学習することで、細分類におけるアノテーションコストを低減すること。

提案手法

• 入力画像の画素に対して、CNN出力チャネルの勾配マップを計算し、活性化パターンを特定する。
• 勾配マップから活性化中心を推定し、応答が強い領域を特定する。
• 活性化中心がアノテート済みの意味的パーツまたはバウンディングボックスに最も近いチャネルを選択し、部分検出器を構築する。
• 推論時に選択されたチャネルを部分検出器として使用し、追加の訓練を必要とせずに部分の局在化を実現する。
• 検出された部分の位置を、部分ベースの分類フレームワークに適用し、グローバル特徴と組み合わせることで精度を向上させる。
• 事前学習済みネットワークの特徴階層と勾配ベースの局在化を活用することで、制約のないフル画像上での検出と分類を可能とする。

実験結果

リサーチクエスチョン

• RQ1 ImageNetで学習された事前学習済みの深層CNNは、細分類タスクに関連する一般的なオブジェクト部分を暗黙的に検出可能か？
• RQ2 トレーニング時にファインチューニングや部分アノテーションを一切使用せずに、事前学習済みCNN内で部分検出器を発見可能か？
• RQ3 推論時に真値のバウンディングボックスを必要としない状況でも、本手法は高い部分局在化精度と分類性能を達成できるか？
• RQ4 真値の部分またはバウンディングボックスアノテーションに依存する最先端手法と比較して、本手法の性能はどの程度か？

主な発見

• 提案手法PDDは、CUB-200-2011データセットで62.5%の細分類精度を達成し、CNNのファインチューニングを行わない手法の中では最も高い結果の一つである。
• 先行研究と比較して、部分局在化誤差が顕著に低く、特にクチバシや首の部分では2倍の改善が得られている（[26]と比較）。
• テスト時に真値のバウンディングボックスを一切使用しない非制約的設定でも、60.1%の精度を達成しており、制約的設定（62.5%）と比較して僅か2.4%の低下にとどまり、真値の部分位置を使用した上限（62.7%）から僅か0.2%の差にとどまる。
• トレーニング時に真値の部分アノテーションを一切使用しないにもかかわらず、グローバルCNN特徴のみを用いたベースラインと比較して10%以上の精度向上を達成している。
• 直接的な教師信号なしに、鳥の体の部位（例：クチバシ、尾、翼）を区別できるため、事前学習済みネットワークが意味的な部分特徴を効果的にエンコードしていることが示唆される。
• 初期の勾配解析とチャネル選択が終了した後は、部分検出に追加の計算コストがほとんどかからないため、計算オーバーヘッドを最小限に抑えつつ、検出と分類の統合が可能である。