[論文レビュー] Bootstrapping Semantic Segmentation with Regional Contrast

Shikun Liu, Shuaifeng Zhi+2 more|arXiv (Cornell University)|Apr 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 69

ひとこと要約

ReCo はピクセルレベルのコントラスト学習を活性サンプリングと組み合わせて、 supervised と semi-supervised 設定の両方で意味セグメンテーションを改善し、より鋭い境界と強いラベル効率を実現する。特にラベルが非常に少ない場合に顕著。

ABSTRACT

We present ReCo, a contrastive learning framework designed at a regional level to assist learning in semantic segmentation. ReCo performs semi-supervised or supervised pixel-level contrastive learning on a sparse set of hard negative pixels, with minimal additional memory footprint. ReCo is easy to implement, being built on top of off-the-shelf segmentation networks, and consistently improves performance in both semi-supervised and supervised semantic segmentation methods, achieving smoother segmentation boundaries and faster convergence. The strongest effect is in semi-supervised learning with very few labels. With ReCo, we achieve high-quality semantic segmentation models, requiring only 5 examples of each semantic class. Code is available at https://github.com/lorenmt/reco.

研究の動機と目的

• 意味セグメンテーションにおけるラベリングコストの削減を、地域コントラストと難易度ピクセルを活用して動機づける。
• 適応サンプリングを備えたピクセルレベルのコントラスト損失 ReCo を導入し、クラス間の関係から学習する。
• 標準データセット上で、semi-supervised と supervised の両設定で ReCo が性能を改善することを示す。
• ReCo が収束を加速し、対象物の境界をより鋭くすることを示す。

提案手法

• 学習時にはエンコーダにピクセルレベルの表現ヘッドを追加する（推論時には使用しない）。
• 正規化された内積類似度を用いて、クエリピクセル表現をクラス平均（正例）に近づけ、他のクラス（負例）から遠ざける ReCo 損失を定義する。
• 正例はバッチ内の各クラスの平均表現として計算する；負例は学習可能なクラス関係グラフ G を用いて他クラスからサンプリングする。
• 予測信頼度が低いピクセルを選択してクエリをアクティブサンプリングする（ハードクエリ）。
• バッチごとに対になるクラス関係グラフ G を構築して、クエリのキーをアクティブサンプルし、クラス関係の softmax から負例をサンプリングする。
• 組み合わせ損失で学習する：L_total = L_supervised + L_reco（semi-supervised 設定では Mean Teacher による L_unsupervised も併用）。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル下で、地域に焦点を当てたコントラスト損失はピクセルレベルのセグメンテーションを改善できるか？
• RQ2 難しいクエリと難しい負例の適応サンプリングは、セグメンテーションの性能と学習効率にどう影響するか？
• RQ3 ReCo は異なるバックボーンやデータセット間で一貫して semi-supervised セグメンテーションを改善するか？
• RQ4 セグメンテーション出力における境界のシャープさとクラス混同行列に対する ReCo の影響は？

主な発見

• ReCo は Cityscapes、Pascal VOC、SUN RGB-D のいずれの semi-supervised および supervised セグメンテーション手法でも一貫して性能を向上させる。
• 最も大きな向上は非常に少ないラベルの semi-supervised 設定で、ClassMix と併用した場合に相対的に最大で 5–10% 向上するケースがある。
• ReCo は物体境界をより鋭くし、高周波領域の処理を改善し、特にクラス境界付近と小さな物体で効果を発揮する。
• 難しいクエリのアクティブサンプリングと特に難しい負例（バッチごとのクラス関係グラフに導かれて）による効果は意味のある改善をもたらし、ランダムサンプリングより効果的である。
• ReCo は semi-supervised ベンチマークで競争力のある、または最先端の結果を達成する（例：より少ないラベル例で PseudoSeg ベンチマークに匹敵または上回る）。
• 実装は軽量で（学習時のみ表現ヘッドを追加）、追加メモリ使用量は最小限で済む。