[論文レビュー] VICRegL: Self-Supervised Learning of Local Visual Features

Adrien Bardes, Juliana Rubio Ponce+1 more|arXiv (Cornell University)|Oct 4, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

VICRegLは、最終プーリング層の直前でプールされたローカル特徴ベクトルに対してもVICReg基準を適用することで、自己教師あり学習によりグローバル特徴とローカル特徴を同時に学習する手法を提案する。空間的近接性と埋め込み類似性に基づく特徴マッチングにより、セマンティックセグメンテーションタスクで最先端の性能を達成（例：ConvNeXt-Sを用いたPascal VOCでは67.5 mIoU）するとともに、線形分類精度を損なわない。

ABSTRACT

Most recent self-supervised methods for learning image representations focus on either producing a global feature with invariance properties, or producing a set of local features. The former works best for classification tasks while the latter is best for detection and segmentation tasks. This paper explores the fundamental trade-off between learning local and global features. A new method called VICRegL is proposed that learns good global and local features simultaneously, yielding excellent performance on detection and segmentation tasks while maintaining good performance on classification tasks. Concretely, two identical branches of a standard convolutional net architecture are fed two differently distorted versions of the same image. The VICReg criterion is applied to pairs of global feature vectors. Simultaneously, the VICReg criterion is applied to pairs of local feature vectors occurring before the last pooling layer. Two local feature vectors are attracted to each other if their l2-distance is below a threshold or if their relative locations are consistent with a known geometric transformation between the two input images. We demonstrate strong performance on linear classification and segmentation transfer tasks. Code and pretrained models are publicly available at: https://github.com/facebookresearch/VICRegL

研究の動機と目的

• 自己教師あり表現学習におけるグローバル特徴とローカル特徴の学習のトレードオフを解消すること。
• 事前計算されたセグメンテーションマスクに依存せずに、グローバル不変性とローカル空間的構造を同時に学習可能とすること。
• セマンティックセグメンテーションなどの密度予測タスクでの性能を向上させつつ、分類精度を維持すること。
• 非対照的で分散および共分散正則化付きの学習がローカル特徴マッチングに有効であるかを検証すること。
• 畳み込みネットワークがローカル特徴を明示的にモデル化することで、ビジョントランスフォーマーと同等の性能を自己教師あり学習で達成できるかを検討すること。

提案手法

• 同一の重みを共有する二重ブランチの畳み込みネットワークを用い、同じ画像の異なる増幅ビューをそれぞれ処理する。
• 最終プーリング後のグローバル特徴ベクトルにVICReg基準を適用し、不変性を強化し、特徴の崩壊を防ぐ。
• プーリング前の特徴マップにローカル基準を適用し、ピクセル空間および埋め込み空間における$l^2$距離に基づいて特徴ベクトルをマッチングする。
• $l^2$距離がしきい値未満であるか、またはビュー間の幾何変換と整合する相対的位置関係にある場合に、ローカル特徴をマッチングする。
• 空間的距離と埋め込み空間の近接性の重み付き組み合わせを用いて、ローカル特徴のポジティブマッチングを定義する。
• ローカル特徴に非対照的VICReg損失を適用し、ネガティブサンプリングを回避することで、真のポジティブマッチングが誤ってマッチングされるリスクを低減する。

実験結果

リサーチクエスチョン

• RQ1 事前計算されたセグメンテーションマスクを必要とせずに、自己教師あり学習でグローバル特徴とローカル特徴を効果的に同時に学習できるか？
• RQ2 空間的および埋め込み空間の近接性に基づくローカル特徴のマッチングが、下流のセグメンテーション性能に与える影響は何か？
• RQ3 ローカル特徴に適用した場合、非対照的VICReg損失が対照的代替手法を上回る性能を示すか？
• RQ4 ローカル損失に分散および共分散正則化を組み込むことで、特徴品質がどの程度向上するか？
• RQ5 畳み込みネットワークがローカル特徴を明示的に学習することで、密度予測タスクでビジョントランスフォーマーと同等の性能を達成できるか？

主な発見

• ResNet-50バックボーンを用いたPascal VOCの線形凍結セマンティックセグメンテーションベンチマークにおいて、VICRegLは55.9 mIoUを達成し、VICRegに比べて8.1 mIoUの向上を示した。
• ConvNeXt-Sバックボーンを用いた同ベンチマークでは、VICRegLは67.5 mIoUを達成し、VICRegに比べて6.6 mIoUの向上を示した。
• ローカル損失に分散正則化を追加すると+0.8 mIoU、共分散正則化を追加すると+1.3 mIoUの性能向上が得られ、分類精度に顕著な影響は見られなかった。
• ImageNetにおける強い線形分類性能を維持しており、ローカル特徴の学習がグローバル表現品質を劣化させないことを示している。
• マルチクロップデータ拡張戦略により性能が向上し、全バックボーンにおいて一貫したセグメンテーション性能の向上が得られた。
• 可視化により、特徴ベースのマッチングが、例えば空や芝生などの意味的に整合性のある領域をビュー間で正しく対応付けていることが確認され、効果的なローカル特徴学習が実現していることが示された。