[論文レビュー] Object Counting and Instance Segmentation with Image-level Supervision

Hisham Cholakkal, Guolei Sun+2 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Neural Network Applications参考文献 33被引用数 22

ひとこと要約

本稿では、オブジェクトのグローバルな数と空間的分布を同時に予測する、新しい密度マップ推定アプローチを用いた画像レベルの教師あり手法を提案する。サブイタイジング範囲のアノテーション（1–4オブジェクト）を活用することで、PASCAL VOC 2012でオブジェクトカウントの最先端性能を達成するとともに、画像レベルのインスタンスセグメンテーション性能を17.8%向上させた。

ABSTRACT

Common object counting in a natural scene is a challenging problem in computer vision with numerous real-world applications. Existing image-level supervised common object counting approaches only predict the global object count and rely on additional instance-level supervision to also determine object locations. We propose an image-level supervised approach that provides both the global object count and the spatial distribution of object instances by constructing an object category density map. Motivated by psychological studies, we further reduce image-level supervision using a limited object count information (up to four). To the best of our knowledge, we are the first to propose image-level supervised density map estimation for common object counting and demonstrate its effectiveness in image-level supervised instance segmentation. Comprehensive experiments are performed on the PASCAL VOC and COCO datasets. Our approach outperforms existing methods, including those using instance-level supervision, on both datasets for common object counting. Moreover, our approach improves state-of-the-art image-level supervised instance segmentation with a relative gain of 17.8% in terms of average best overlap, on the PASCAL VOC 2012 dataset. Code link: https://github.com/GuoleiSun/CountSeg

研究の動機と目的

• 弱い画像レベルの監視下で、オブジェクトのグローバルな数とインスタンスの空間的分布を予測する課題に取り組む。
• 人間のサブイタイジング行動にインspiredされ、1–4個のオブジェクトに限定した数の監視のみを用いることで、アノテーション負荷を低減する。
• 隣接するオブジェクトインスタンスの局所化を改善するため、空間的密度マップの予測を組み込むことで、画像レベル教師ありインスタンスセグメンテーションの性能を向上させる。
• 最小限の数のアノテーション（1–4個）を用いた画像レベルの監視が、より強いインスタンスレベルの監視（例：バウンディングボックスや点レベルアノテーション）を要する手法を上回ることを示す。
• オブジェクトカウントとインスタンスセグメンテーションの間のギャップを、両者に共通する密度マップ表現を用いることで埋める。

提案手法

• 予測された密度と正例のオブジェクト数の整合性を強制する新しい損失関数を用いて訓練された深層ニューラルネットワークにより、カテゴリごとのオブジェクト密度マップを構築する。
• 1–4個のインスタンスに限定された、1枚あたりのオブジェクト総数の情報のみを用いた画像レベルの監視によりモデルを学習し、アノテーションコストを低減する。
• オブジェクト候補のスコア関数にペナルティ項を導入し、予測された数が1に近い候補を優遇することで、隣接するインスタンスの局所化を改善する。
• 予測された密度マップを用いて、候補領域内の密度値を集積することで、マスク生成をガイドし、空間的精度を向上させる。
• グローバルな数の回帰損失と、密度マップの正確性を保証する空間的一致性損失を組み合わせ、エンドツーエンドでモデルを訓練する。
• インスタンスセグメンテーションのためのピーク応答マップ（PRM）フレームワークを、予測された密度マップを空間的事前分布として統合することで改善する。

実験結果

リサーチクエスチョン

• RQ1 1–4個のオブジェクト数のアノテーションのみを用いた画像レベルの監視が、グローバルなオブジェクト数と空間的分布の両方を正確に予測できるか？
• RQ2 弱い監視下で学習された密度マップは、インスタンスセグメンテーション性能の向上にどの程度有効か？
• RQ3 サブイタイジング範囲の監視（1–4個のオブジェクト）は、4個を超えるオブジェクトを含むシーンへ一般化可能か？
• RQ4 空間的密度情報の統合は、インスタンスセグメンテーションにおける隣接する同じカテゴリのオブジェクトインスタンスの局所化を改善するか？
• RQ5 より強い監視（例：バウンディングボックスや点レベルアノテーション）を要する手法を上回る、弱教師ありアプローチがオブジェクトカウントとセグメンテーションの両面で有効か？

主な発見

• 提案手法は、COCOおよびPASCAL VOC 2007で優れたオブジェクトカウント性能を達成し、全カウントレンジにおいて、画像レベルおよびインスタンスレベルの教師あり手法を上回った（RMSEの観点から）。
• PASCAL VOC 2007の人物カテゴリでは、GAME(3)スコアが1.83を達成し、PL監視のLCFCN（2.80）とCSRNet（2.44）を上回った。
• PASCAL VOC 2012における画像レベル教師ありインスタンスセグメンテーションでは、PRMベースラインを平均最高重複度（ABO）で17.8%向上させ、44.3%に到達した。
• 同じカテゴリの隣接する複数インスタンス（例：複数匹のヒツジや馬）の局所化が著しく向上し、PRMはそれらを分離できなかった。
• 特に高いIoU閾値（例：0.75）で性能向上が顕著であり、密度マップの空間的ガイダンスのおかげでマスクが正例とより一致していることが示された。
• モデルはサブイタイジング範囲を越えて良好に一般化し、1–4個のインスタンスでのみ学習したにもかかわらず、重度にオクルージョンされたシーンで11人の人物を正確にカウントした。