[論文レビュー] LSDA: Large Scale Detection Through Adaptation

Judy Hoffman, Sergio Guadarrama+6 more|arXiv (Cornell University)|Jul 18, 2014

Advanced Neural Network Applications参考文献 27被引用数 196

ひとこと要約

LSDAは、新しいカテゴリのバウンディングボックスアノテーションを必要とせずに、ImageNetで訓練された画像分類器をオブジェクト検出器に変換するドメイン適応手法を提案する。分類と検出の両方のラベルを持つ少数のカテゴリを用いて分類から検出への変換を学習することで、LSDAは大規模な検出を可能にし、ベースライン分類器に対して50%の相対的なmAP向上を達成し、画像ラベルのみで7,604カテゴリの検出器を実現する。

ABSTRACT

A major challenge in scaling object detection is the difficulty of obtaining labeled images for large numbers of categories. Recently, deep convolutional neural networks (CNNs) have emerged as clear winners on object classification benchmarks, in part due to training with 1.2M+ labeled classification images. Unfortunately, only a small fraction of those labels are available for the detection task. It is much cheaper and easier to collect large quantities of image-level labels from search engines than it is to collect detection data and label it with precise bounding boxes. In this paper, we propose Large Scale Detection through Adaptation (LSDA), an algorithm which learns the difference between the two tasks and transfers this knowledge to classifiers for categories without bounding box annotated data, turning them into detectors. Our method has the potential to enable detection for the tens of thousands of categories that lack bounding box annotations, yet have plenty of classification data. Evaluation on the ImageNet LSVRC-2013 detection challenge demonstrates the efficacy of our approach. This algorithm enables us to produce a >7.6K detector by using available classification data from leaf nodes in the ImageNet tree. We additionally demonstrate how to modify our architecture to produce a fast detector (running at 2fps for the 7.6K detector). Models and software are available at

研究の動機と目的

• バウンディングボックスアノテーションが限られている状況で、数万のカテゴリにスケーリング可能なオブジェクト検出を実現する挑戦に応えること。
• 分類と検出の両方のラベルを持つ少数のカテゴリを用いて、分類から検出への一般化可能な変換を学習すること。
• バウンディングボックスアノテーションが一切ないカテゴリに対しても、事前学習済み分類器を検出器に適応させることで検出を可能にすること。
• 高価なバウンディングボックスアノテーションへの依存を減らすことで、大規模検出のアノテーションコストを低減すること。
• ほとんどのクラスに対して分類データのみを用いて、高性能で大規模な検出器（7,604カテゴリ）を構築する可能性を実証すること。

提案手法

• 検出をドメイン適応問題として定式化：ソースドメインは画像ラベル付きデータ（分類）、ターゲットドメインはバウンディングボックスラベル付きデータ（検出）。
• 強力な特徴表現を学習するために、分類データ上で深層畳み込みニューラルネットワーク（CNN）を訓練する。
• 分類と検出の両方のラベルを持つカテゴリのサブセットを用いて、分類特徴を検出特徴にマップする変換ネットワークを学習する。
• 学習された変換を用いて、バウンディングボックスアノテーションが一切ないカテゴリの事前学習済み分類器を検出器に適応する。
• アノテーション済みカテゴリの小さな集合上で、適応された特徴と検出損失を用いて検出ヘッドをファインチューニングする。
• 高速なリージョンプロポーザルネットワークと空間ピラミッドプーリングを統合することで推論速度を最適化し、1枚あたり0.5秒の推論時間に短縮する。

実験結果

リサーチクエスチョン

• RQ1 画像ラベルとバウンディングボックスラベルの両方を持つ少数のカテゴリを用いて、深層ニューラルネットワークを分類から検出に適応させることは可能か？
• RQ2 学習された適応は、バウンディングボックスラベルが一切ないカテゴリに、画像ラベルのみに依存してどの程度一般化可能か？
• RQ3 ホールドアウトカテゴリにおいて、適応された検出器の性能は、検出フレームワークに直接分類器特徴を用いた場合と比べてどうなるか？
• RQ4 この適応手法は、数万のカテゴリにスケーリング可能で、最小限のアノテーション作業で大規模検出を実現できるか？
• RQ5 大規模検出器に適応技術を適用した際の、検出精度と推論速度のトレードオフはいかなるものか？

主な発見

• ホールドアウトカテゴリにおいて、ベースラインが分類器特徴を検出フレームワークに直接使用する場合と比較して、LSDAは平均平均精度（mAP）を50%の相対的向上を達成する。
• 誤差解析により、局在化の誤りや背景の誤認識による誤検出が顕著に減少していることが示された。
• 本手法により、7,404のカテゴリがバウンディングボックスアノテーションなしで画像ラベルのみで学習された7,604カテゴリのオブジェクト検出器が構築可能である。
• フル7,604カテゴリの検出器では2fpsの検出速度を達成でき、高速リージョンプロポーザルと空間ピラミッドプーリングを用いることで0.5fpsまで高速化可能である。
• 可視化結果から、検出データが存在しないカテゴリにおいてもLSDAは正しくオブジェクトを局在化しているのに対し、ベースライン分類器は局在性の低さと背景への感受性により失敗していることが確認された。
• 適応技術は類似したカテゴリ間で良好に一般化されるが、トップの誤検出は視覚的に類似したクラス間の誤認識（例：オートバイが自転車として誤検出）に起因することが多い。