[論文レビュー] Rethinking Localization Map: Towards Accurate Object Perception with Self-Enhancement Maps

Xiaolin Zhang, Yunchao Wei+2 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Neural Network Applications参考文献 1被引用数 22

ひとこと要約

本稿では、弱教師付きオブジェクト検出のための新規2段階手法である自己強化マップ（SEM）を提案する。この手法は、高活性化ピクセルとバックグラウンドピクセル間の特徴類似度を直接比較することで、局所化マップの精度を向上させる。新たにアノテートされたILSVRCバリデーションマスクを用いたIoU-Threshold曲線に基づく直接的なピクセル単位の評価指標を導入し、画像ラベルのみを用いた条件下でSOTAの54.88%の局所化精度を達成。オブジェクト局所化および境界検出の両面で先行手法を上回った。

ABSTRACT

Recently, remarkable progress has been made in weakly supervised object localization (WSOL) to promote object localization maps. The common practice of evaluating these maps applies an indirect and coarse way, i.e., obtaining tight bounding boxes which can cover high-activation regions and calculating intersection-over-union (IoU) scores between the predicted and ground-truth boxes. This measurement can evaluate the ability of localization maps to some extent, but we argue that the maps should be measured directly and delicately, i.e., comparing the maps with the ground-truth object masks pixel-wisely. To fulfill the direct evaluation, we annotate pixel-level object masks on the ILSVRC validation set. We propose to use IoU-Threshold curves for evaluating the real quality of localization maps. Beyond the amended evaluation metric and annotated object masks, this work also introduces a novel self-enhancement method to harvest accurate object localization maps and object boundaries with only category labels as supervision. We propose a two-stage approach to generate the localization maps by simply comparing the similarity of point-wise features between the high-activation and the rest pixels. Based on the predicted localization maps, we explore to estimate object boundaries on a very large dataset. A hard-negative suppression loss is proposed for obtaining fine boundaries. We conduct extensive experiments on the ILSVRC and CUB benchmarks. In particular, the proposed Self-Enhancement Maps achieve the state-of-the-art localization accuracy of 54.88% on ILSVRC. The code and the annotated masks are released at https://github.com/xiaomengyc/SEM.

研究の動機と目的

• 弱教師付きオブジェクト検出（WSOL）における間接的評価指標の限界を解消すること。これらの指標はバウンディングボックスのIoU依存であり、細粒度の局所化精度を捉えられていない。
• ILSVRCバリデーションセットに新たなグランドトゥルースオブジェクトマスクをアノテートすることで、局所化マップと正確に比較可能な直接的ピクセル単位の評価プロトコルを提案すること。
• 高活性化ピクセルとバックグラウンドピクセル間のポイントワイズ特徴類似度を比較することで、局所化マップの品質を向上させる2段階の自己強化手法を開発すること。
• ハードネガティブ抑制損失を用いて、画像ラベルのみから高品質なオブジェクト境界予測を実現すること。この損失はエッジマップの精錬に寄与する。
• 優れた局所化マップが常に良好なバウンディングボックス性能をもたらすわけではないことの実証を通し、直接的評価の必要性を強調すること。

提案手法

• 高活性化ピクセルと他のすべてのピクセル間のポイントワイズ特徴類似度を計算することで、局所化マップを生成する2段階手法を提案。オブジェクト領域のカバー範囲を拡大する。
• 予測された局所化マップとピクセルレベルのグランドトゥルースマスクを直接比較するための新しい評価指標（IoU-Threshold曲線）を導入。品質評価の正確性を高める。
• バックグラウンド領域における誤検出エッジを抑制するハードネガティブ抑制（HNS）損失を適用。オブジェクト境界検出の品質向上に寄与。
• バックボーンとしてInceptionV3を用い、交差エントロピー損失と提案されたHNS損失の組み合わせにより、エンドツーエンドでモデルを訓練。境界精錬を実現。
• HaSおよびCutMixのデータオーグメンテーション技術を活用し、さらに局所化マップの品質と境界検出性能を向上。
• 直接評価を可能とするために、ILSVRCバリデーションセットにピクセルレベルのオブジェクトマスクをアノテート。新たなIoU-Threshold曲線評価指標の基盤を構築。

実験結果

リサーチクエスチョン

• RQ1 グランドトゥルースマスクに基づく直接的ピクセル単位の評価指標は、標準的な間接的バウンディングボックスIoU評価を上回るのか？
• RQ2 提案された自己強化メカニズムは、CAM や ACoL のようなベースライン手法と比較して、局所化マップの正確性と完全性をどの程度向上させるのか？
• RQ3 画像ラベルのみを用いて、どの程度の高精度なオブジェクト境界を予測できるのか？また、HNS損失はその達成にどのように寄与するのか？
• RQ4 既存の手法が高水準のバウンディングボックスIoUスコアを達成しているにもかかわらず、なぜしばしば劣悪な局所化マップを生成するのか？新しい評価指標はこの乖離をどのように明らかにするのか？
• RQ5 大規模データセット上において、弱教師付き境界検出は、完全教師付き手法と同等またはそれ以上の性能を達成できるのか？

主な発見

• 提案された自己強化マップ（SEM）は、ILSVRCベンチマークでSOTAの54.88%の局所化精度を達成。すべての先行手法を上回った。
• IoU-Threshold曲線評価により、HaS、CutMix、SPGといった手法が、高いバウンディングボックスIoUを示しても、直接的なピクセル単位の局所化性能は劣っていることが判明。間接的指標の欠陥が露呈された。
• HNS損失をSEM-Vanillaに適用することで、オブジェクト境界検出の平均適合率（AP）が14.3%（17.6% → 31.9%）向上。バックグラウンドノイズの抑制効果が明確に示された。
• CutMixオーグメンテーションを適用したSEM-HNSは、AP 33.1%を達成。同じベンチマークで完全教師付きのSOBD手法（AP 29.6%）を上回り、弱教師付き条件下でも優れた一般化性能を示した。
• 境界学習時にSEMの局所化マップをCAMマップに置き換えると、APは31.9%から25.5%に低下。SEMがより詳細かつ正確な局所化マップを生成していることが確認された。
• シード選択プロセスにおけるK=40で54.88%のピーク性能が達成され、多様性とバックグラウンド汚染の最適なバランスが実現された。