[論文レビュー] Dense Semantic Contrast for Self-Supervised Visual Representation Learning

Xiaoni Li, Yu Zhou+6 more|arXiv (Cornell University)|Sep 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 4

ひとこと要約

本稿では、自己教師あり視覚表現学習手法であるDense Semantic Contrast (DSC)を提案する。DSCは、画像内および画像間の意味的関係を活用することで、画素レベルでの意味的カテゴリの決定境界をモデル化する。インスタンス、画素、意味的レベルの表現を統合的に最適化するマルチスケールの対照的フレームワークを導入することで、物体検出やセマンティックセグメンテーションなどの下流の密度予測タスクでSOTA性能を達成する。

ABSTRACT

Self-supervised representation learning for visual pre-training has achieved remarkable success with sample (instance or pixel) discrimination and semantics discovery of instance, whereas there still exists a non-negligible gap between pre-trained model and downstream dense prediction tasks. Concretely, these downstream tasks require more accurate representation, in other words, the pixels from the same object must belong to a shared semantic category, which is lacking in the previous methods. In this work, we present Dense Semantic Contrast (DSC) for modeling semantic category decision boundaries at a dense level to meet the requirement of these tasks. Furthermore, we propose a dense cross-image semantic contrastive learning framework for multi-granularity representation learning. Specially, we explicitly explore the semantic structure of the dataset by mining relations among pixels from different perspectives. For intra-image relation modeling, we discover pixel neighbors from multiple views. And for inter-image relations, we enforce pixel representation from the same semantic class to be more similar than the representation from different classes in one mini-batch. Experimental results show that our DSC model outperforms state-of-the-art methods when transferring to downstream dense prediction tasks, including object detection, semantic segmentation, and instance segmentation. Code will be made available.

研究の動機と目的

• 自己教師あり事前学習と下流の密度予測タスクの間のギャップを埋めること。後者は、より精細で意味的に整合性のある表現を必要とする。
• 従来のインスタンスレベルおよび画素レベルの対照的手法が意味的カテゴリ境界を明示的にモデル化できないという制限を克服すること。
• 複数の視点から得られる画像内および画像間の画素間の意味的関係を明示的に抽出することで、表現品質を向上させること。
• 低レベル（画素）、中レベル（インスタンス）、高レベル（意味的カテゴリ）の視覚的理解を統合するマルチスケールの学習を可能にすること。
• 異なる画像からの同じ意味的クラスに属する画素の表現を整列させることで、密度予測のための特徴の識別性を高めること。

提案手法

• ミニバッチ内での同じ意味的カテゴリに属する画素表現同士の類似性を強制する、画素レベルのクロス画像意味的対照的学習フレームワークを提案する。
• 同じ画像の複数の増幅ビューから得られる画素の近傍関係を、画像内関係としてモデル化する。
• k近傍法（K-NN）とプロトタイプマイニング（PM）を用いて、画像間の意味的近傍を特定し、対照的学習のためのポジティブペアを形成する。
• インスタンス、画素、意味的の3つの粒度を統合した統一された学習目的関数に統合し、局所的およびグローバルな意味的理解を同時に最適化する。
• 同じ意味的カテゴリに属する画素の表現を整列させると同時に、異なるクラスの表現同士を分離するように対照的損失を適用する。
• Grad-CAMによる可視化を用いて特徴の注目マップを分析・比較し、DSCがベースライン手法と比較して境界に敏感な特徴を学習していることを示す。

実験結果

リサーチクエスチョン

• RQ1 画素レベルでの意味的カテゴリ境界の明示的モデル化は、密度予測タスクの自己教師あり表現学習を向上させ得るか？
• RQ2 インスタンス、画素、意味的の3つの粒度を統合したマルチスケール表現学習を組み込むと、下流タスクの性能にどのように影響を与えるか？
• RQ3 インスタンスレベルや画素レベルの対照的学習に比べ、画像間の意味的関係をマイニングすることで、特徴の識別性がどの程度向上するか？
• RQ4 データ増強とインスタンス識別に依存する手法と比較して、意味構造を明示的にモデル化する対照的フレームワークは、性能で優れているか？
• RQ5 K-NNとプロトタイプマイニングの2つの意味的近傍マイニング戦略は、最終的な表現品質および収束安定性にどのように影響を与えるか？

主な発見

• DSCは、PASCAL VOCの物体検出およびセマンティックセグメンテーションタスクでSOTA性能を達成し、3つの粒度をすべて使用した場合にAPが57.1、mIoUが57.9を記録した。
• アブレーションスタディの結果、各粒度を段階的に追加することで性能が順次向上し、インスタンスのみ（54.7 AP）、画素＋インスタンス（56.4 AP）、マルチグレイン（57.1 AP）の順に向上した。
• プロトタイプマイニングを用いたDSC-PMは、K-NNベースのDSC-KMよりも優れた性能を示し、PASCAL VOCのセマンティックセグメンテーションで57.9のmIoUを達成した。
• Grad-CAMによる可視化結果から、DSCはMoCo-v2 や DenseCL と比較して、物体の縁周辺でより境界に敏感な特徴を学習していることが確認された。
• 画素レベルまたは意味的レベルの対照的学習のみで訓練したモデルは収束しなかったことから、マルチグレイン学習が安定性と性能の両面で不可欠であることが示された。
• PASCAL VOCにおける定性的な比較結果から、DSCはMoCo-v2 や DenseCL と比較して、より正確で一貫性のあるセグメンテーションマスクを生成することが確認された。