[論文レビュー] Unveiling the Potential of Structure Preserving for Weakly Supervised Object Localization

Xingjia Pan, Yingguo Gao+6 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Neural Network Applications参考文献 12被引用数 8

ひとこと要約

本稿では、畳み込み特徴量における空間的構造を保持することで、弱教師付きオブジェクト検出の精度を向上させる2段階手法である構造保存活性化（SPA）を提案する。過信した応答を抑えるために制限付き活性化モジュール（RAM）を導入し、高次自己相関を用いた自己相関マップ生成（SCG）モジュールにより長距離の空間的レイアウトを捉えることで、CUB-200-2011およびILSVRCで最先端の性能を達成し、バックボーンにかかわらず一貫した向上効果を示す。

ABSTRACT

Weakly supervised object localization(WSOL) remains an open problem given the deficiency of finding object extent information using a classification network. Although prior works struggled to localize objects through various spatial regularization strategies, we argue that how to extract object structural information from the trained classification network is neglected. In this paper, we propose a two-stage approach, termed structure-preserving activation (SPA), toward fully leveraging the structure information incorporated in convolutional features for WSOL. First, a restricted activation module (RAM) is designed to alleviate the structure-missing issue caused by the classification network on the basis of the observation that the unbounded classification map and global average pooling layer drive the network to focus only on object parts. Second, we designed a post-process approach, termed self-correlation map generating (SCG) module to obtain structure-preserving localization maps on the basis of the activation maps acquired from the first stage. Specifically, we utilize the high-order self-correlation (HSC) to extract the inherent structural information retained in the learned model and then aggregate HSC of multiple points for precise object localization. Extensive experiments on two publicly available benchmarks including CUB-200-2011 and ILSVRC show that the proposed SPA achieves substantial and consistent performance gains compared with baseline approaches.Code and models are available at https://github.com/Panxjia/SPA_CVPR2021

研究の動機と目的

• グローバル平均プーリングと無制限の活性化マップのため、分類ネットワークがオブジェクトの構造的情報を保持できないという弱教師付きオブジェクト検出（WSOL）の限界に対処すること。
• 畳み込み特徴量に内在する空間的構造が、インスタンスレベルのアノテーションなしで、どのようにより正確な検出に活用できるかを調査すること。
• 空間正則化やCAMベースの活性化に依存するのではなく、特徴レベルの相関を通じて構造的レイアウトを保持することで、検出マップを向上させる手法を開発すること。
• 高次自己相関を用いて活性化マップを精緻化することで、特にオブジェクト範囲の欠落や誤検出といった検出エラーを低減すること。

提案手法

• 分類活性化マップ（CAM）の応答範囲を制限するための制限付き活性化モジュール（RAM）を導入し、特徴マップの疑似マスクガイドに従って過剰に強調される部分を防ぎ、背景の識別を向上させる。
• 高次自己相関（HSC）を特徴マップ全体で計算することで、オブジェクト構造を保持する長距離の空間的依存関係を抽出する自己相関マップ生成（SCG）モジュールを提案する。
• HSCは、複数の点間の空間的関係を集約する微分可能相関演算を用いて計算され、正確なオブジェクトレイアウトを捉える。
• SCGモジュールはRAMが生成した活性化マップにHSC応答を集約し、構造を保存する検出マップを生成する。
• 本手法は2段階パイプラインとして適用される：まずRAMがCAMを精緻化し、次にSCGがHSCに基づく相関を用いて最終的な検出マップを生成する。
• 本手法は標準的なCNNバックボーン（例：VGG16、Inception V3）と互換性があり、計算オーバーヘッドはほとんどない。

Figure 2: Framework of the proposed SPA approach. During the training phase, we designed a restricted activation module paralleled with the classification branch on the baseline architecture of simplified CAM [ 43 ] . In the inference phase, we proposed a self-correlation map generating module, whic

実験結果

リサーチクエスチョン

• RQ1 畳み込み特徴量における空間的構造を保持することで、標準的なCAMベースの手法を上回る弱教師付きオブジェクト検出が可能になるか？
• RQ2 分類ネットワークのヘッド構造が、特徴マップにおけるオブジェクト構造的情報の保持をどの程度妨げているか？
• RQ3 一次相関がモデル化できない長距離の空間的レイアウトを、高次自己相関が効果的に捉えられるか？
• RQ4 制限付き活性化と構造に配慮した相関を組み合わせることで、多様なベンチマークで一貫した性能向上が得られるか？

主な発見

• ILSVRCの検証セットにおいて、VGG16を用いたSPAは、RAMとSCGを両方使用した場合、Top-1検出誤差をベースラインの53.76％から50.44％に低下させ、絶対誤差で3.1％の改善を達成した。
• CUB-200-2011では、VGG16を用いた場合、RAMとSCGを組み合わせることでTop-1検出誤差が57.49％から39.73％に17.7％の削減が達成された。
• Inception V3を用いた場合、CUB-200-2011ではTop-1検出誤差が9.2％低下し、ILSVRCでは2.59％低下した（ベースライン比）。
• SCGモジュール単体でも、CUB-200-2011（VGG16）で11.5％の性能向上を示し、構造的レイアウトを捉える有効性を裏付けた。
• RAMモジュールはCUB-200-2011（VGG16）で検出誤差を8.1％削減し、過信した応答による構造欠落の緩和に寄与することが確認された。
• 本手法はCUB-200-2011およびILSVRCの両ベンチマークで最先端の性能を達成し、異なるバックボーンおよび検出指標において一貫した向上効果を示した。

Figure 3: Pipeline of the proposed SCG module. Here we show examples of using first- and second-order SC to obtain final localization maps, respectively.