[論文レビュー] Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning

Haohang Xu, Xiaopeng Zhang+4 more|arXiv (Cornell University)|Dec 4, 2020

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、サンプル間およびネットワーク層間の階層的意味的アライメントを実現するCsMlを提案する。対照的表現学習において、正例の視点をサンプルおよび層の両方で拡張することで特徴の一般化性能を向上させる。データ混合を用いた耐障害性の高いサンプル間正例選択と、ボトルネック正則化付きの多段階対照的損失を導入することで、ResNet-50を用いた自己教師付き事前学習においてImageNet線形評価で76.6%のトップ1正答率を達成し、新たなSOTAを樹立した。

ABSTRACT

Self-supervised learning based on instance discrimination has shown remarkable progress. In particular, contrastive learning, which regards each image as well as its augmentations as an individual class and tries to distinguish them from all other images, has been verified effective for representation learning. However, pushing away two images that are de facto similar is suboptimal for general representation. In this paper, we propose a hierarchical semantic alignment strategy via expanding the views generated by a single image to extbf{Cross-samples and Multi-level} representation, and models the invariance to semantically similar images in a hierarchical way. This is achieved by extending the contrastive loss to allow for multiple positives per anchor, and explicitly pulling semantically similar images/patches together at different layers of the network. Our method, termed as CsMl, has the ability to integrate multi-level visual representations across samples in a robust way. CsMl is applicable to current contrastive learning based methods and consistently improves the performance. Notably, using the moco as an instantiation, CsMl achieves a extbf{76.6\% }top-1 accuracy with linear evaluation using ResNet-50 as backbone, and extbf{66.7\%} and extbf{75.1\%} top-1 accuracy with only 1\% and 10\% labels, respectively. extbf{All these numbers set the new state-of-the-art.}

研究の動機と目的

• 対照的表現学習における不十分な不変性学習を是正すること。具体的には、意味的に類似した画像が負例として扱われ、互いに遠ざけられる問題に焦点を当てる。
• 既存の対照的手法でしばしば表現能力が低いとされる中間層における特徴の判別能を向上させること。
• 人為的ラベルなしで意味的に類似したサンプルを安定して正例として選択できる仕組みを実現すること。
• 複数のネットワーク深さにわたり判別的な表現を強制する階層的訓練戦略を開発すること。

提案手法

• 意味的に類似しているが同一ではない合成正例を生成するためのデータ混合戦略を導入し、サンプル間正例選択の耐障害性を向上させる。
• 対照的学習を最終層に限らず、中間層の複数の段階でも明示的に特徴をアライメントすることで、多段階対照的損失を用いる。
• 勾配競合を緩和し安定した最適化を可能にするために、各中間対照的損失の前にボトルネック層を適用する。
• 埋め込み空間におけるk近傍探索を用いて、意味的に類似したサンプルを特定し、サンプル間正例ペairリングを実現する。
• 標準的な対照的損失を拡張し、1つのアーキテクチャに対して複数の正例を許容することで、異なる表現レベル間での階層的アライメントを可能にする。
• MoCoにプラグインモジュールとして統合することで、既存の対照的学習フレームワークとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 意味的に類似した画像を異なるサンプル間で明示的にアライメントすることで、負例として扱われるのを避けることにより、対照的表現学習を改善できるか？
• RQ2 人為的ラベルなしで意味的に類似したサンプルを正例として安定して選択できるか？
• RQ3 中間ネットワーク層における判別的表現の強制が、下流の転移性能を向上させるか？
• RQ4 階層的多段階対照的学習は、訓練の安定性を保ちながら特徴の一般化性能を向上させられるか？

主な発見

• CsMlは、自己教師付き事前学習下でResNet-50を用いたImageNet線形評価において76.6%のトップ1正答率を達成し、新たなSOTAを樹立した。
• ラベル付きデータがたった1%の状況でも、CsMlは66.7%のトップ1正答率を達成し、先行する自己教師付き手法を顕著に上回った。
• 10%のラベルで微調整した場合、CsMlは75.1%のトップ1正答率に到達し、優れた転移性を示した。
• 中間層の判別能が最大で3.3%向上（例：第3段階で60.7%から64.0%に上昇）し、検出やセグメンテーションタスクの性能向上に寄与した。
• 混合サンプルを含めた場合、CsMlの計算コストはMoCo v2と比較して約25%程度の増加にとどまり、多段階監視による追加コストは最小限だった。
• より少ないエポック数や小さなバッチサイズでもCsMlはMoCo v2を上回った。これは、性能向上が長時間の学習や大きなバッチサイズによるものではないことを示している。