[論文レビュー] Rethinking the Route Towards Weakly Supervised Object Localization

Chen-Lin Zhang, Yun-Hao Cao+1 more|arXiv (Cornell University)|Feb 26, 2020

Advanced Neural Network Applications参考文献 31被引用数 7

ひとこと要約

本稿では、弱教師ありオブジェクト検出をクラスに依存しない検出と分類に分離する、Pseudo Supervised Object Localization (PSOL) と呼ばれる新しいパラダイムを提案する。クラスに依存しない手法（例：DDT）を用いてノイズの多い疑似バウンディングボックスを生成し、その後にバウンディングボックス回帰を適用することで、クラスラベルに依存しない検出と分類を実現する。この手法はImageNet-1kで58.00%のTop-1検出精度を達成し、CUB-200では74.97%を記録し、先行手法を大きく上回る。また、微調整なしに異なるデータセット間で強力なゼロショット転送性を示す。

ABSTRACT

Weakly supervised object localization (WSOL) aims to localize objects with only image-level labels. Previous methods often try to utilize feature maps and classification weights to localize objects using image level annotations indirectly. In this paper, we demonstrate that weakly supervised object localization should be divided into two parts: class-agnostic object localization and object classification. For class-agnostic object localization, we should use class-agnostic methods to generate noisy pseudo annotations and then perform bounding box regression on them without class labels. We propose the pseudo supervised object localization (PSOL) method as a new way to solve WSOL. Our PSOL models have good transferability across different datasets without fine-tuning. With generated pseudo bounding boxes, we achieve 58.00% localization accuracy on ImageNet and 74.97% localization accuracy on CUB-200, which have a large edge over previous models.

研究の動機と目的

• 分類と検出のタスクを混同する既存の弱教師ありオブジェクト検出（WSOL）手法の限界を解消すること。
• 分類ラベルに依存せずにオブジェクト検出を実行できることを示し、検出がクラス固有の特徴に依存するという仮定に挑戦すること。
• クラスに依存しない手法でノイズの多い疑似バウンディングボックスを生成し、それをエンドツーエンドのバウンディングボックス回帰で精緻化することで、検出性能を向上させること。
• 微調整なしに、データセット間で強力なゼロショット転送性を持つ検出モデルを実現すること。
• 分類とは独立してクラスに依存しない検出を実行する新しいパラダイム（PSOL）を確立することにより、より高い性能と一般化能力を実現すること。

提案手法

• まず、クラスに依存しない手法（特にDeep Descriptor Transformation: DDT）を用いて、クラスラベルに依存しないノイズの多い疑似正解バウンディングボックスを生成し、クラスラベル依存を回避する。
• 次に、これらの疑似ボックスにバウンディングボックス回帰ヘッドを適用し、位置を精緻化することで、クラス固有の監視なしにエンドツーエンド最適化を可能にする。
• 検出ヘッドと分類ヘッドを分離することで、最新の分類器（例：EfficientNet-B7）を検出ヘッドとは独立して使用可能にする。
• 検出モデルは真のクラスラベルにアクセスせずに、疑似ボックスのみで訓練されるため、クラスに依存しない学習を強調する。
• フレームワークはゼロショット転送をサポートする：ImageNet-1kで訓練されたモデルは、微調整なしにCUB-200でも高い性能を発揮する。
• 本手法はさまざまなバックボーンネットワーク（例：VGG、DenseNet161）と互換性があり、グローバル平均プーリング（GAP）や分離畳み込みを用いることで、効率性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありオブジェクト検出を、クラスに依存しない検出タスクと独立した分類タスクに効果的に分離できるか？
• RQ2 クラスラベルなしにノイズの多い疑似バウンディングボックスで検出ヘッドを訓練することは、クラス固有の特徴を用いたエンドツーエンド最適化よりも性能が向上するか？
• RQ3 あるデータセット（例：ImageNet-1k）で訓練された検出モデルが、別のデータセット（例：CUB-200）に微調整なしに効果的に一般化できるか？
• RQ4 提案手法PSOLの性能は、最先端のWSOLおよび完全教師あり手法と比較して、検出精度と転送性の面でどのように異なるか？
• RQ5 検出性能は分類性能にどれほど依存せず、両者を相互に損なわず共同最適化できるか？

主な発見

• Eff用Net-B7と組み合わせたPSOLは、ImageNet-1kで58.00%のTop-1検出精度を達成し、以前の最先端手法を大きく上回る。
• CUB-200データセットでは、PSOLが74.97%のTop-1検出精度を達成し、先行手法と大きな性能差を示した。
• ImageNet-1kで訓練されたPSOLモデルは、微調整なしにCUB-200に効果的に一般化され、89.11%のTop-1精度を達成した。これは強力なゼロショット転送性を示している。
• より強力なバックボーン（例：DenseNet161）を用いた場合でも、分類重みやネットワーク全体を微調整する手法を上回った。
• PSOLは、画像ラベルのみを用いているにもかかわらず、AlexNetのような完全教師ありモデルと同等のTop-5検出精度を達成した。
• アブレーションスタディの結果、分類・検出を統合して学習するのではなく、クラスに依存しない検出がより効果的であることが確認され、本研究の核心的パラダイム転換が裏付けられた。