[論文レビュー] Transferring Common-Sense Knowledge for Object Detection.

Krishna Kumar Singh, Santosh Divvala+2 more|arXiv (Cornell University)|Apr 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 4

ひとこと要約

この論文は、MS COCOで既存の転移学習手法よりも顕著な性能向上を達成するために、境界ボックスアノテーションが付与されたソースカテゴリから、画像レベルアノテーションのみが与えられたターゲットカテゴリへ、共通認識知識を転移する手法を提案している。画像レベルのアノテーションしか持たないターゲットカテゴリのスケーラブルなオブジェクト検出を向上させるために、人為的ラベルなしで、知識ベースからの領域レベルの類似性および豊富な属性および空間的共通認識の手がかりを活用している。

ABSTRACT

We propose the idea of transferring common-sense knowledge from source categories to target categories for scalable object detection. In our setting, the training data for the source categories have bounding box annotations, while those for the target categories only have image-level annotations. Current state-of-the-art approaches focus on image-level visual or semantic similarity to adapt a detector trained on the source categories to the new target categories. In contrast, our key idea is to (i) use similarity not at image-level, but rather at region-level, as well as (ii) leverage richer common-sense (based on attribute, spatial, etc.,) to guide the algorithm towards learning the correct detections. We acquire such common-sense cues automatically from readily-available knowledge bases without any extra human effort. On the challenging MS COCO dataset, we find that using common-sense knowledge substantially improves detection performance over existing transfer-learning baselines.

研究の動機と目的

• 画像レベルアノテーションのみを備えたターゲットカテゴリにおけるオブジェクト検出器のトレーニングという課題に対処すること。
• 画像レベルの視覚的または意味的類似性を超えて、領域レベルの類似性に移行することで、オブジェクト検出における転移学習を改善すること。
• 外部の知識ベースから、属性や空間的関係といった豊富な共通認識知識を自動で活用し、検出をガイドすること。
• 新しいカテゴリに対して境界ボックスアノテーションが乏しい低リソース環境におけるスケーラブルなオブジェクト検出を可能にすること。
• 共通認識知識の転移が、既存の画像レベル類似性ベースの転移手法を著しく上回ることを示すこと。

提案手法

• ソースカテゴリとターゲットカテゴリ間の特徴を一致させるために、画像レベルの類似性ではなく、領域レベルの類似性を用いる。
• ConceptNet や Visual Genome などの容易に入手可能な知識ベースから、属性や空間的関係といった共通認識の手がかりを自動で抽出する。
• これらの手がかりは、境界ボックスアノテーションが不足するターゲットカテゴリの特徴学習と検出予測をガイドするために使用される。
• トレーニング中に検出ヘッドに共通認識知識を統合することで、局所化の正確性が向上する。
• 共通認識知識との整合性に基づいて、領域候補の重みを付ける知識に配慮したアテンションメカニズムを採用する。
• フレームワークは、境界ボックスが付与されたソースカテゴリ上でエンドツーエンドにトレーニングされ、ターゲットカテゴリの検出を画像レベルラベルのみで推論する。

実験結果

リサーチクエスチョン

• RQ1 共通認識知識との領域レベル類似性を用いることで、画像レベル類似性を越えてオブジェクト検出の転移性能が向上するか？
• RQ2 自動で取得された共通認識知識は、低リソースターゲットカテゴリの検出性能向上にどの程度効果的か？
• RQ3 知識ベースからの属性および空間的関係を統合することで、視覚的または意味的特徴に依存する手法よりも優れた局所化が達成できるか？
• RQ4 ベンチマークデータセット上で、提案手法は最先端の転移学習ベースラインと比較してどの程度優れているか？
• RQ5 知識ベースから得られる手がかりは、オブジェクト検出における高価な境界ボックスアノテーションの必要性を低減できるか？

主な発見

• 提案手法は、MS COCOデータセット上で、既存の転移学習ベースラインと比較して顕著な性能向上を達成した。
• 共通認識知識と領域レベル類似性を活用することで、画像レベルアノテーションのみのターゲットカテゴリにおいて、より正確な検出予測が可能になった。
• 属性および空間的共通認識手がかりの統合により、視覚的または意味的類似性に依存する手法と比較して、局所化性能が著しく向上した。
• ターゲットカテゴリに対して追加の人的ラベルなしの境界ボックスアノテーションが使用されても、提案手法は最先端のアプローチを上回った。
• 外部の知識ベースから共通認識知識を自動で取得することで、人的作業や追加のアノテーションなしに検出性能が向上した。
• 結果から、共通認識知識の転送は、少サンプルオブジェクト検出においてスケーラブルで効果的な解決策であることが示された。