[論文レビュー] Global Weighted Average Pooling Bridges Pixel-level Localization and Image-level Classification

Suo Qiu|arXiv (Cornell University)|Sep 21, 2018

Industrial Vision Systems and Defect Detection参考文献 4被引用数 24

ひとこと要約

本稿では、画像ラベルのみを用いて同時に行うピクセル単位の局所化と画像分類を可能にする、グローバル重み付き平均プーリング（GWAP）を提案する。特徴マップに対してクラスに依存しない重みとクラス固有の重みを学習することにより、従来のグローバルマックス/平均プーリングに比べて局所化精度を向上させ、ILSVRCでは54.99%のトップ1局所化誤差を達成し、PASCAL VOCではR-FCNと組み合わせた際、mAPを1.1%向上させた。

ABSTRACT

In this work, we first tackle the problem of simultaneous pixel-level localization and image-level classification with only image-level labels for fully convolutional network training. We investigate the global pooling method which plays a vital role in this task. Classical global max pooling and average pooling methods are hard to indicate the precise regions of objects. Therefore, we revisit the global weighted average pooling (GWAP) method for this task and propose the class-agnostic GWAP module and the class-specific GWAP module in this paper. We evaluate the classification and pixel-level localization ability on the ILSVRC benchmark dataset. Experimental results show that the proposed GWAP module can better capture the regions of the foreground objects. We further explore the knowledge transfer between the image classification task and the region-based object detection task. We propose a multi-task framework that combines our class-specific GWAP module with R-FCN. The framework is trained with few ground truth bounding boxes and large-scale image-level labels. We evaluate this framework on PASCAL VOC dataset. Experimental results show that this framework can use the data with only image-level labels to improve the generalization of the object detection model.

研究の動機と目的

• ピクセル単位の局所化およびオブジェクト検出の高コストなアノテーションを、画像ラベルのみを用いて低減すること。
• グローバルマックスプーリング（GMP）およびグローバル平均プーリング（GAP）の限界を克服すること。これらはハードウェアで固定された集約戦略のため、物体の正確な局所化に失敗する。
• ボックスアノテーションが一切不要な、ピクセル単位の局所化マップを自然に生成する学習可能なグローバルプーリング機構の開発。
• R-FCNを用いたマルチタスクフレームワークにGWAPを統合し、画像分類から領域ベースの検出へ知識を転送すること。
• 大規模な画像ラベルが、ボックスアノテーションが付与された画像のわずかな割合ですら、検出性能を顕著に向上させられることを実証すること。

提案手法

• 特徴マップのグローバル重みを学習するクラスに依存しないGWAPモジュールを提案。この重みにより、特徴マップの重み付き平均を計算し、判別性の高い領域を強調する。
• 各クラス固有の注意マップを生成するクラス固有のGWAPモジュールを導入。これにより、個々のオブジェクトカテゴリの局所化精度が向上する。
• 複数インスタンス学習（MIL）フレームワークを用いて、画像ラベルのみで完全畳み込みネットワークを学習。最終予測はプールドされた特徴から導出される。
• ピクセル単位の予測ヘッドを用いてGWAPのための注意重みを生成し、それらを用いて局所化のためのクラス活性化マップ（CAM）を生成する。
• クラス固有のGWAPモジュールをR-FCNアーキテクチャに統合し、マルチタスク学習の枠組みで画像分類とオブジェクト検出を同時に学習する。
• 複数スケールの推論を用いて、複数の入力解像度からの注意マップを平均化することで、局所化のロバスト性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きピクセル単位の局所化において、グローバル重み付き平均プーリング（GWAP）は、グローバルマックスプーリング（GMP）およびグローバル平均プーリング（GAP）を上回ることができるか？
• RQ2 ボックスアノテーションが一切ない状況でも、GWAPは意味的で判別性の高い注意マップを学習し、正確なオブジェクト領域を強調できるか？
• RQ3 GWAPを検出フレームワーク（例：R-FCN）に統合することで、ボックスアノテーションが付与された画像のわずかなサブセットでのみ学習した場合でも、一般化性能が向上するか？
• RQ4 提案手法は、弱教師付き設定において、画像ラベル分類から領域ベースのオブジェクト検出への知識転送を効果的に実現できるか？
• RQ5 複数スケールの推論は、GWAPベースのモデルの局所化精度にどのように影響するか？

主な発見

• 提案されたGoogLeNet-GWAPモデルは、ILSVRCバリデーションセットでトップ1局所化誤差54.99%を達成し、GoogLeNet-GAPを上回り、完全教師ありのGoogLeNetに近い性能を示した。
• GoogLeNet-GAPと比較して、トップ1精度が3.2ポイント、トップ5精度が1.9ポイント向上した。これは、優れた特徴集約性能を示している。
• マルチスケール入力（224, 448, 672）を用いることで、単一スケール推論と比較して局所化誤差が0.9%低下し、空間的精度が向上した。
• PASCAL VOC 2007では、R-FCN + GWAPフレームワークが、ボックスアノテーションが付与された画像が10%のデータでの学習でも63.17%のmAPを達成し、R-FCN + GAP（62.32%）およびR-FCN（61.05%）を上回った。
• 可視化結果から、GAPに比べてGWAPがより完全で正確なオブジェクト局所化マップを生成することが確認された。オブジェクトの形状や輪郭を的確に捉えている。
• マルチタスク設定においてGWAPとGAPを組み合わせることでわずかな向上が得られた。これは、注意メカニズム同士が補完的である可能性を示唆している。