[論文レビュー] Semi-supervised Object Detection via Virtual Category Learning

Changrui Chen, Kurt Debattista+1 more|arXiv (Cornell University)|Jul 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、誤りやすい、ラベル付けが難しいサンプルを安全に活用できるようにするため、半教師ありオブジェクト検出における仮想カテゴリ（VC）学習を提案する。誤りやすい疑似ラベルに依存せず、確認バイアスを回避するため、クラス間距離の下限を定義し、変更された交差エントロピー損失を用いる。この手法により、COCOデータセットで1%のラベル付きデータでの状況でも最先端のmAPを達成する。

ABSTRACT

Due to the costliness of labelled data in real-world applications, semi-supervised object detectors, underpinned by pseudo labelling, are appealing. However, handling confusing samples is nontrivial: discarding valuable confusing samples would compromise the model generalisation while using them for training would exacerbate the confirmation bias issue caused by inevitable mislabelling. To solve this problem, this paper proposes to use confusing samples proactively without label correction. Specifically, a virtual category (VC) is assigned to each confusing sample such that they can safely contribute to the model optimisation even without a concrete label. It is attributed to specifying the embedding distance between the training sample and the virtual category as the lower bound of the inter-class distance. Moreover, we also modify the localisation loss to allow high-quality boundaries for location regression. Extensive experiments demonstrate that the proposed VC learning significantly surpasses the state-of-the-art, especially with small amounts of available labels.

研究の動機と目的

• 従来のフィルタリング手法が価値あるデータを棄却するか、ノイズの多い疑似ラベルによる確認バイアスを引き起こす可能性があるため、半教師ありオブジェクト検出（SSOD）における誤りやすい、ラベル付けが難しいサンプルの処理の課題に対処すること。
• 正確なラベル補正を必要とせず、誤りやすいサンプルを能動的に活用する手法を提案し、既存のフィルタリングやマルチラベル戦略の限界を克服すること。
• 信頼できない疑似ラベルの代わりに安全な代替手段として機能する仮想カテゴリ（VC）を導入することで、低監視設定下でのモデルの一般化性能を向上させること。
• 境界の品質を水平方向と垂直方向に分離することで、境界回帰の学習を強化し、高品質な境界が回帰をガイドするようにすること。

提案手法

• 疑似ラベルが信頼できないと判断される誤りやすいサンプルに対して、仮想カテゴリ（VC）を割り当て、VCを別クラスとして扱うように変更された交差エントロピー損失を用いる。
• VCを定義し、サンプルとVC間の埋め込み距離をクラス間距離の下限として設定することで、意思決定境界の安定化を図る。
• 時間的安定性検証またはマルチモデル検証を用いて、各誤りやすいサンプルの妥当なラベル候補（潜在カテゴリPC）集合を構築する。
• 境界ボックス回帰損失において、水平方向と垂直方向の位置品質を分離することで、トレーニング中に高品質な境界を優先的にガイドする。
• 教師モデルの特徴ベクトルから仮想重みを生成し、データオーグメンテーションを適用することで耐性を向上させるが、強力なオーグメンテーションはわずかに性能を低下させる。
• 仮想重みのノルムを標準分類器重みと一致させるためにスケーリング係数を用い、アブレーション実験で最適な性能が3.5のスケーリング係数で得られることを確認した。

実験結果

リサーチクエスチョン

• RQ1 半教師ありオブジェクト検出における誤りやすい、ラベル付けが難しいサンプルは、正確なラベル補正を必要とせずに効果的に活用可能か？
• RQ2 ノイズの多い疑似ラベルによる確認バイアスを回避しつつ、仮想カテゴリを安全に最適化に寄与させられるように設計できるか？
• RQ3 水平方向と垂直方向の局所化品質を分離することで、半教師あり検出における回帰性能にどのような影響を与えるか？
• RQ4 時間的安定性とマルチモデル検証の両方を用いた潜在カテゴリセットの構築法の違いが、全体のmAPに与える影響は何か？
• RQ5 スケーリング係数や局所化品質の閾値といったハイパーパrameter（例：スケーリング係数、位置品質閾値）の中で、提案手法の性能に最も顕著に影響を与えるのはどれか？

主な発見

• 提案手法のVC学習は、1%ラベル付きMS COCOデータで20.81 mAPを達成し、低監視設定下でベースライン手法や既存の最先端手法を大きく上回る。
• 潜在カテゴリセットの構築にマルチモデル検証を用いることで、20.96 mAPを達成し、ベースライン比0.96ポイントの向上を示し、コトレーニングに類似したメカニズムの有効性を裏付けた。
• 時間的安定性検証を用いることで、ベースラインの19.51 mAPから20.81 mAPに性能劣化が軽減され、そのロバスト性と有効性が示された。
• アブレーションスタディにより、仮想重み生成に強力なデータオーグメンテーションを用いることで性能がわずかに低下することが判明し、過剰な摂動による特徴空間のずれが原因とされる。
• 仮想重みの最適なスケーリング係数は3.5であり、これが最高のmAPをもたらした。一方、位置品質閾値として0.05が安定性と性能のバランスを最良に保つことが分かった。
• 10%ラベル付きデータでも、依然として最高のmAPを達成したが、ベースライン検出器の性能が向上し、誤りやすいサンプルの数も減ったため、相対的な向上幅は小さくなった。