[論文レビュー] Object-Aware Instance Labeling for Weakly Supervised Object Detection

Satoshi Kosugi, Toshihiko Yamasaki+1 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Neural Network Applications参考文献 29被引用数 6

ひとこと要約

本稿では、弱教師付きオブジェクト検出のためのオブジェクト認識インスタンスラベリングを提案し、反復的フィードバックの改善を図るため、文脈認識正例（CAP）および空間制限付き負例（SRN）ラベリングを導入する。CAPは、各領域の文脈分類損失を用いて、オブジェクト全体をカバーする領域を特定する。一方、SRNは空間的制約を用いて、他のオブジェクトが誤って負例としてラベル付けされるのを防ぐ。本手法は、PASCAL VOC 2007で47.6%、VOC 2012で43.4%のSOTA mAPを達成する。

ABSTRACT

Weakly supervised object detection (WSOD), where a detector is trained with only image-level annotations, is attracting more and more attention. As a method to obtain a well-performing detector, the detector and the instance labels are updated iteratively. In this study, for more efficient iterative updating, we focus on the instance labeling problem, a problem of which label should be annotated to each region based on the last localization result. Instead of simply labeling the top-scoring region and its highly overlapping regions as positive and others as negative, we propose more effective instance labeling methods as follows. First, to solve the problem that regions covering only some parts of the object tend to be labeled as positive, we find regions covering the whole object focusing on the context classification loss. Second, considering the situation where the other objects contained in the image can be labeled as negative, we impose a spatial restriction on regions labeled as negative. Using these instance labeling methods, we train the detector on the PASCAL VOC 2007 and 2012 and obtain significantly improved results compared with other state-of-the-art approaches.

研究の動機と目的

• 反復的弱教師付きオブジェクト検出の効率性と正確性を向上させるために、インスタンスラベリング手順を精緻化すること。
• 顔のような部分の高い識別性により、部分的なオブジェクト領域が誤って正例としてラベル付けされる問題に対処すること。
• 同じクラスの他のオブジェクトが負例として誤ってラベル付けされるのを防ぐこと。
• 強力なアノテーションを用いずに、文脈分類損失と空間的制約を活用して局所化品質を向上させること。

提案手法

• 各領域の文脈分類損失を分析することで、オブジェクト全体をカバーする領域を特定する文脈認識正例（CAP）ラベリングを提案する。
• 領域の周囲の文脈分類器を用いて損失を計算し、文脈損失が低い領域ほどオブジェクト全体をカバーしている可能性が高いと判断する。
• オブジェクトカバレッジ比ごとに領域をグループ化するためのカバレッジベースの集合 $\mathcal{S}_i$ を定義し、トレーニング中に各グループごとの文脈損失 $L_{\text{context}}^i$ を追跡する。
• 全オブジェクトカバレッジの候補として、文脈分類器の確率 $p_{cj}$ が低い領域を閾値 $P_t$ を用いて選択する。
• 正例領域から離れた領域にのみ負例としてラベルを付与する空間制限付き負例（SRN）ラベリングを導入し、他のオブジェクトが誤って負例としてラベル付けされるのを防ぐ。
• 正例領域から十分に離れた領域に限って負例ラベルを付与する空間的制約を課すことにより、誤った負例誤分類を低減する。

実験結果

リサーチクエスチョン

• RQ1 画像ラベルのみが利用可能な状況下でも、文脈分類損失を用いてオブジェクト全体をカバーする領域を特定できるか？
• RQ2 単純なマスクアウトに代えて文脈認識分類を用いることで、弱教師付き設定下での完全オブジェクト検出が向上するか？
• RQ3 負例ラベリング時に空間的制約を適用することで、同じクラスの他のオブジェクトが背景として誤ってラベル付けされるのを防げるか？
• RQ4 提案手法のインスタンスラベリング方法は、ベースラインの反復的ラベリングと比較して、mAPおよび局所化正確性において優れているか？

主な発見

• 提案手法のCAPラベリングは、単純なマスクアウトを用いた場合の47.1%と比較して、PASCAL VOC 2007で47.6%という高いmAPを達成した。
• オブジェクト全体をカバーする領域では、文脈分類損失が顕著に低下しており、完全なオブジェクトカバレッジの特定に有効であることが示された。
• SRNラベリングにより、同じクラスの他のインスタンスが誤って負例としてラベル付けされるのを防ぎ、局所化の一貫性が向上した。
• PASCAL VOC 2012では、43.4%のmAPを達成し、弱教師付きオブジェクト検出分野における他のSOTA手法を上回った。
• アブレーションスタディの結果、文脈分類は単純なマスクアウトよりも完全オブジェクト検出に有効であり、CorLocで1.8%の向上が確認された。