[論文レビュー] Inter-Image Communication for Weakly Supervised Localization

Xiaolin Zhang, Yunchao Wei+1 more|arXiv (Cornell University)|Aug 12, 2020

Advanced Neural Network Applications参考文献 49被引用数 12

ひとこと要約

本稿では、同じカテゴリに属する画像間の特徴の一貫性を強制することで、弱教師ありオブジェクト検出の局所化マップの精度を向上させる、新しい手法である相互画像通信（I2C）を提案する。ミニバッチ内での確率的一致（SC）と、全データセットにわたるグローバル一致（GC）を導入し、学習可能なクラス固有の中心を用いて特徴の整合性を確保することで、最小限の計算コストで特徴の頑健性を向上させ、ILSVRC検証セットにおいて45.17%という新たなSOTA（トップ1局所化誤差）を達成した。

ABSTRACT

Weakly supervised localization aims at finding target object regions using only image-level supervision. However, localization maps extracted from classification networks are often not accurate due to the lack of fine pixel-level supervision. In this paper, we propose to leverage pixel-level similarities across different objects for learning more accurate object locations in a complementary way. Particularly, two kinds of constraints are proposed to prompt the consistency of object features within the same categories. The first constraint is to learn the stochastic feature consistency among discriminative pixels that are randomly sampled from different images within a batch. The discriminative information embedded in one image can be leveraged to benefit its counterpart with inter-image communication. The second constraint is to learn the global consistency of object features throughout the entire dataset. We learn a feature center for each category and realize the global feature consistency by forcing the object features to approach class-specific centers. The global centers are actively updated with the training process. The two constraints can benefit each other to learn consistent pixel-level features within the same categories, and finally improve the quality of localization maps. We conduct extensive experiments on two popular benchmarks, i.e., ILSVRC and CUB-200-2011. Our method achieves the Top-1 localization error rate of 45.17% on the ILSVRC validation set, surpassing the current state-of-the-art method by a large margin. The code is available at https://github.com/xiaomengyc/I2C.

研究の動機と目的

• 弱教師ありオブジェクト検出（WSOL）において、画像ラベルのみが利用可能な状況での局所化マップの不正確さを是正すること。
• 同じオブジェクトカテゴリに属する異なる画像間で一貫した特徴表現を強制することで、局所化品質を向上させること。
• 複雑なアーキテクチャや重い補助モジュールを避けることで、最小限の計算コストでこの一貫性を達成すること。
• 訓練中に進化するクラス固有の特徴中心を学習し、特徴の整合性をガイドすること。
• 標準的なWSOLベンチマークで最先端の性能を示し、一般化能力とハイパーパramータのロバスト性を示すこと。

提案手法

• 確率的一致（SC）は、同じミニバッチ内の異なる画像から抽出された高活性化のシードポイント間で特徴の一貫性を強制する。
• グローバル一致（GC）は、学習可能なクラス固有の特徴中心に向かって、データセット全体のオブジェクト特徴を整列させる。
• クラス表現の進化を反映させるために、モーメンタムベースの移動平均戦略を用いて、グローバル中心を訓練中に積極的に更新する。
• 局所化マップから、活性化スコアに閾値（δ=0.7）を適用して、特徴的なオブジェクト領域を特定するシードポイントを選択する。
• 本手法は、ミニバッチ内での特徴整列を目的としたSC用の補助損失と、クラス中心に向かうバッチ間の特徴整列を目的としたGC用の補助損失の2つの項を導入する。
• 全体の訓練目的関数は、クロスエントロピー損失にSCおよびGC損失を重み付け（λ₁およびλ₂）して組み合わせたものである。

実験結果

リサーチクエスチョン

• RQ1 同じカテゴリの異なる画像間で特徴の一貫性を確保することで、弱教師あり学習における局所化精度が向上するか？
• RQ2 ミニバッチ内（SC）および全データセットにわたる（GC）一貫性を強制することで、より頑健で判別力のある特徴表現が得られるか？
• RQ3 提案手法は、最先端のWSOL手法と比較して、局所化誤差およびハイパーパramータへのロバスト性において優れているか？
• RQ4 訓練中に動的に学習可能な効果的な特徴中心を獲得することで、画像間での一貫した特徴学習をガイドできるか？
• RQ5 サンプリングされたシードポイント数（K）を変化させた場合、局所化性能および安定性にどのような影響があるか？

主な発見

• 提案手法I2Cは、ILSVRC検証セットでトップ1局所化誤差45.17%を達成し、以前のSOTA手法を上回った。
• グローバル一致（GC）を追加することで、SCのみの場合の局所化誤差48.07%から45.17%に低下し、グローバル特徴整列の有効性が裏付けられた。
• ハイパーパramータの変化に強く、λ₂の値を0.0001から0.1（1,000倍の範囲）に変更しても、局所化誤差の変動はわずか0.96%にとどまった。
• シードポイント数が少ない場合でも性能が安定しており、Kを3から100に増加させても局所化誤差はわずか0.46%しか変化せず、最適性能はK=3で達成された。
• K=60で分類誤差が最小値28.40%に達し、シードポイント数と局所化精度のトレードオフが明確に示された。
• SCとGCの組み合わせにより、局所化マップの改善と多様な設定におけるロバスト性が裏付けられ、より一貫性があり判別力のある特徴が得られた。