[論文レビュー] Objects as context for part detection.

Abel Gonzalez-Garcia, Davide Modolo+1 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Neural Network Applications参考文献 36被引用数 3

ひとこと要約

本論文では、オブジェクトの外観、クラス、およびオブジェクト内での期待される相対的部分位置を活用することで、意味的パーツを検出する新しいディープラーニングモジュール、OffsetNetを提案する。コンテキストに配慮したオブジェクト認識特徴空間でパーツをモデル化することにより、パーツのみの外観モデルと比較してPASCAL-Partで+5 mAPの向上を達成した。

ABSTRACT

We present a semantic part detection approach that effectively leverages object information.We use the object appearance and its class as indicators of what parts to expect. We also model the expected relative location of parts inside the objects based on their appearance. We achieve this with a new network module, called OffsetNet, that efficiently predicts a variable number of part locations within a given object. Our model incorporates all these cues to detect parts in the context of their objects. This leads to considerably higher performance for the challenging task of part detection compared to using part appearance alone (+5 mAP on the PASCAL-Part dataset). We also compare to other part detection methods on both PASCAL-Part and CUB200-2011 datasets.

研究の動機と目的

• オブジェクトクラスや外観といったオブジェクトレベルの文脈を組み込むことで、意味的パーツ検出の精度を向上させること。
• オブジェクト内でのパーツの期待される相対的な空間的配置をモデル化することで、位置特定の精度を向上させること。
• 1つのオブジェクトに対して可変な数のパーツ位置を予測できる柔軟なディープラーニングモジュールを開発すること。
• オブジェクトの文脈を一切活用しない、局所的なパーツ外観に依存する検出手法を上回ること。

提案手法

• オブジェクト特徴とクラス埋め込みに基づいてパーツ位置を予測するニューラルネットワークモジュール、OffsetNetを導入する。
• オブジェクトの外観とクラスを意味的ヒントとして用い、オブジェクト内でのパーツ位置の予測を条件づける。
• オブジェクトレベルの特徴からの空間オフセットを学習することで、パーツの相対的位置をモデル化し、可変長のパーツ出力を可能にする。
• 特徴統合によりオブジェクトレベルの文脈をパーツ検出に統合し、位置特定のロバスト性を向上させる。
• パーツとオブジェクトのアノテーションが付与されたデータセット上でエンドツーエンドのモデルを学習し、文脈に配慮した検出を同時に最適化する。
• バックボーンネットワークからの深層畳み込み特徴を活用して、オブジェクトおよびパーツの表現を抽出する。

実験結果

リサーチクエスチョン

• RQ1 外観のみのモデルと比較して、オブジェクトレベルの意味的および空間的文脈を組み込むことで、パーツ検出の精度が向上するか？
• RQ2 ディープラーニングモジュールが、1つのオブジェクト内での可変な数のパーツ位置をどれほど効果的に予測できるか？
• RQ3 オブジェクトクラスと外観をヒントとして組み込むことで、パーツ検出の誤差はどの程度低減されるか？
• RQ4 標準ベンチマーク上で、提案手法は最先端のパーツ検出アプローチと比較してどのように性能を発揮するか？

主な発見

• 提案手法は、パーツのみの外観モデルと比較して、PASCAL-Partデータセットで+5 mAPの向上を達成した。
• 本手法は、PASCAL-PartおよびCUB200-2011の両方のデータセットで、既存のパーツ検出手法を上回った。
• オブジェクトレベルの文脈により、誤検出の削減とパーツ位置推定の精度向上が顕著に実現され、位置特定の精度が著しく向上した。
• OffsetNetは、1オブジェクトあたりのパーツ数の可変性を効果的に処理でき、パーツ検出における柔軟性を示した。
• オブジェクトクラスと外観を文脈的ヒントとして統合することで、よりロバストで正確なパーツ検出が実現した。
• 本手法は、多様なオブジェクトカテゴリーやパーツタイプにわたり、一貫した性能向上を示した。