[論文レビュー] Leveraging Hidden Positives for Unsupervised Semantic Segmentation

Hyun Seok Seong, WonJun Moon+2 more|arXiv (Cornell University)|Mar 27, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、対照学習を通じて、局所的隠し正例（LHPs）による空間的整合性と、グローバル隠し正例（GHPs）によるパッチ間の意味的整合性を活用する、新しい教師なしセマンティックセグメンテーション手法を提案する。タスク固有の特徴を段階的に統合し、意味的に類似した隣接パッチに勾配を伝搬させることで、COCO-stuff、Cityscapes、Potsdam-3で最先端の性能を達成する。

ABSTRACT

Dramatic demand for manpower to label pixel-level annotations triggered the advent of unsupervised semantic segmentation. Although the recent work employing the vision transformer (ViT) backbone shows exceptional performance, there is still a lack of consideration for task-specific training guidance and local semantic consistency. To tackle these issues, we leverage contrastive learning by excavating hidden positives to learn rich semantic relationships and ensure semantic consistency in local regions. Specifically, we first discover two types of global hidden positives, task-agnostic and task-specific ones for each anchor based on the feature similarities defined by a fixed pre-trained backbone and a segmentation head-in-training, respectively. A gradual increase in the contribution of the latter induces the model to capture task-specific semantic features. In addition, we introduce a gradient propagation strategy to learn semantic consistency between adjacent patches, under the inherent premise that nearby patches are highly likely to possess the same semantics. Specifically, we add the loss propagating to local hidden positives, semantically similar nearby patches, in proportion to the predefined similarity scores. With these training schemes, our proposed method achieves new state-of-the-art (SOTA) results in COCO-stuff, Cityscapes, and Potsdam-3 datasets. Our code is available at: https://github.com/hynnsk/HP.

研究の動機と目的

• 教師なしセマンティックセグメンテーションにおけるタスク固有のガイダンス不足と局所的意味的整合性の欠如を解消する。
• 従来の対照学習ベース手法における固定バックボーンやデータオーグメンテーション依存の限界を克服する。
• トレーニング中にタスクに依存しない特徴とタスク固有の特徴リファレンスを統合することで、モデルの一般化性能を向上させる。
• 注意スコアに応じて、意味的に類似した隣接パッチ（局所的隠し正例、LHPs）に損失勾配を伝搬させることで、局所的整合性を強制する。
• ピクセル単位のアノテーションを一切使用せずに、特徴空間内の内在的な意味的関係を活用することで、最先端の性能を達成する。

提案手法

• 固定事前学習済みViTバックボーンから得られるタスクに依存しないGHPと、トレーニング中のセグメンテーションヘッドから得られるタスク固有的GHPの2種類のグローバル隠し正例（GHPs）を定義する。
• 各アーキテクチャのアノテーションに対して、両方のリファレンスプールから意味的に類似したパッチを選択するデータ駆動基準を適用し、信頼性の高い正例収集を保証する。
• トレーニングの進行に伴い、タスク固有的GHPの寄与度を段階的に増加させ、モデルがセグメンテーション関連の特徴に誘導されるようにする。
• 隣接するパッチ（局所的隠し正例、LHPs）に、その注意スコアに比例して損失勾配を伝搬させる勾配伝搬戦略を導入する。
• 隣接するパッチは同じ意味的ラベルを共有する可能性が高いという内在的仮定を活用し、局所的整合性を強制する。
• ピクセル単位の監視なしに、GHPとLHPの両方を用いて対照学習を実施し、特徴表現を最適化する。

Figure 1 : Assuming a mini-batch comprising two images shown in (a), we describe two types of hidden positives, to leverage for contrastive learning. (a) With two types of hidden positives introduced in (b) and (c), we provide an example of how our training scheme provides more precise and consisten

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルのアノテーションが存在しない教師なしセマンティックセグメンテーションにおいて、どのようにしてタスク固有的な意味的特徴を段階的に学習できるか？
• RQ2 事前学習済み特徴とトレーニング段階の特徴から得られるグローバル隠し正例が、意味的表現学習にどの程度寄与するか？
• RQ3 意味的に類似した隣接パッチに勾配を伝搬させることで、局所的整合性とセグメンテーション品質が向上するか？
• RQ4 標準ベンチマーク上でmIoUと精度の観点から、本手法は既存の最先端手法と比べてどの程度優れているか？
• RQ5 リファレンスプールサイズや温度スケーリングといったハイパーパrameterの選択に対して、本手法はどの程度頑健か？

主な発見

• 提案手法はCOCO-stuffでmIoU 41.4、精度75.1を達成し、先行手法を上回る最先端の性能を示した。
• CityscapesではmIoU 39.1、精度74.1を達成し、DINO + GradPropおよび他のベースラインを上回った。
• Potsdam-3ではmIoU 41.3、精度74.9を達成し、多様なデータセットにわたる強力な一般化性能を示した。
• アブレーションスタディの結果、リファレンスプールサイズや温度値の変更に対しても性能の低下が最小限に抑えられ、手法の頑健性が確認された。
• 可視化結果から、GHP選択プロセスが、粗いアノテーションを超えた細粒度の意味的差異（例：人物の体部）を的確に捉えていることが確認された。
• 勾配伝搬戦略により、意味的に類似した隣接パッチの注意スコアが、類似しないパッチよりも顕著に高くなったことが、局所的整合性の効果を裏付けた。

Figure 2 : Illustration of the global hidden positive (GHP) selection process. Our GHP can be divided into two sub-sets: task-agnostic and task-specific. An index set of task-agnostic GHP ${P}_{i}^{\text{ag}}$ comprises the indices of positives discovered within the task-agnostic reference pool $Q^{