[論文レビュー] Zoom-CAM: Generating Fine-grained Pixel Annotations from Image Labels

Xiangwei Shi, Seyran Khademi+2 more|arXiv (Cornell University)|Oct 16, 2020

Advanced Neural Network Applications参考文献 37被引用数 4

ひとこと要約

Zoom-CAMは、最終層だけでなくすべての中間畳み込み層からのクラス活性化マップを統合することで、より高解像度で細粒度なピクセル単位の偽ラベルを生成し、弱教師ありオブジェクト検出およびセグメンテーションを改善する。このアプローチにより、局所化ノイズが低減され、ベースライン手法が見逃す小スケールのオブジェクトを捉えることができ、ImageNetではトップ1誤差が2.8%低下し、弱教師ありセマンティックセグメンテーションではmIoUが1.1%向上する。

ABSTRACT

Current weakly supervised object localization and segmentation rely on class-discriminative visualization techniques to generate pseudo-labels for pixel-level training. Such visualization methods, including class activation mapping (CAM) and Grad-CAM, use only the deepest, lowest resolution convolutional layer, missing all information in intermediate layers. We propose Zoom-CAM: going beyond the last lowest resolution layer by integrating the importance maps over all activations in intermediate layers. Zoom-CAM captures fine-grained small-scale objects for various discriminative class instances, which are commonly missed by the baseline visualization methods. We focus on generating pixel-level pseudo-labels from class labels. The quality of our pseudo-labels evaluated on the ImageNet localization task exhibits more than 2.8% improvement on top-1 error. For weakly supervised semantic segmentation our generated pseudo-labels improve a state of the art model by 1.1%.

研究の動機と目的

• 既存の弱教師あり手法が偽ラベル生成に最終的で低解像度の畳み込み層にのみ依存するという制限を解消すること。
• Grad-CAM や CAM が見逃す小スケールおよび細粒度なオブジェクトインスタンスの局所化精度を向上させること。
• すべての中間層からの特徴マップを活用して、画像ラベルからの高解像度で正確な視覚的説明を生成する手法を開発すること。
• 複数の層を統合することでノイズが低減され、弱教師ありセマンティックセグメンテーションにおける局所化の忠実性が向上することを実証すること。

提案手法

• Zoom-CAMは、最終層だけでなくすべての中間畳み込み層を経由してクラススコア勾配を逆伝播させることで、勾配に基づく重要度マップを計算する。
• すべての中間層の活性化マップを線形に結合するために学習可能な重みマスクを適用し、クラス固有の顕著性を最適化する。
• 統合された活性化マップを入力画像の解像度にリサイズして、高解像度の視覚的説明を生成し、偽ラベル化に用いる。
• しきい値処理と連結成分解析を用いて、統合マップから顕著な領域を抽出し、偽セグメンテーションラベルとして利用する。
• 標準的なCNNと互換性があり、標準的な逆伝播を超える追加計算コストは最小限にとどまる。
• 画像ラベルからの監視情報からより正確な偽ラベルを生成するため、弱教師ありパイプラインにおけるCAMやGrad-CAMの代替として利用可能である。

実験結果

リサーチクエスチョン

• RQ1 すべての中間畳み込み層からの特徴マップを統合することで、弱教師あり局所化における偽ラベルの精度が向上するか？
• RQ2 最終層のみに依存するのではなく複数の層を用いることで、局所化ノイズが低減され、小スケールまたは細粒度なオブジェクトインスタンスがよりよく捉えられるか？
• RQ3 局所化およびセグメンテーションの精度という観点から、Zoom-CAMはGrad-CAM や Score-CAM といった最先端の可視化手法と比較してどのように性能を発揮するか？
• RQ4 Zoom-CAMが生成する偽ラベルは、最先端の弱教師ありセマンティックセグメンテーションモデルの性能を向上させることができるか？

主な発見

• ImageNet局所化ベンチマークにおいて、Zoom-CAMはGrad-CAMと比較してトップ1誤差を2.8%、トップ5誤差を3.7%低減した。
• PASCAL VOC 2012 データセットでは、Zoom-CAMが生成する偽ラベルのmIoUが、CAM、Grad-CAM、Score-CAM、Grad-CAM++のそれらを上回った。
• 最先端のIRNetモデルを弱教師ありセマンティックセグメンテーション用に再訓練する際に、Zoom-CAMを適用したところ、mIoUが1.1%向上した。
• 視覚的検証により、Zoom-CAMは同じクラスの複数のインスタンスや、Grad-CAMが見逃す小スケールのオブジェクトを正常に局所化できていることが確認された。
• 主なコストが逆伝播に留まるため、Zoom-CAMはGrad-CAMと同等の計算効率を維持している。
• 中間層マップの統合により、背景の過剰活性化が低減され、空間的局所化の忠実性が向上した。