[論文レビュー] Masked Siamese ConvNets

Jing Li, Jiachen Zhu+1 more|arXiv (Cornell University)|Jun 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本稿では、マスク化増幅によって引き起こされる主な問題——寄生エッジ、特徴の不均衡、訓練信号の減少——を解決することで、ConvNetsを用いた有効な自己教師あり表現学習を可能にする、マスク化シアンプスConvNets（MSCN）を提案する。空間的・チャネル的マスキング、最適なマスキング比、ビュー共有戦略といった体系的な設計改善を通じて、MSCNはImageNet-1Kで67.6%の線形プローブ精度を達成し、オブジェクト検出ベンチマークにおいても先行手法を上回る性能を示した。

ABSTRACT

Self-supervised learning has shown superior performances over supervised methods on various vision benchmarks. The siamese network, which encourages embeddings to be invariant to distortions, is one of the most successful self-supervised visual representation learning approaches. Among all the augmentation methods, masking is the most general and straightforward method that has the potential to be applied to all kinds of input and requires the least amount of domain knowledge. However, masked siamese networks require particular inductive bias and practically only work well with Vision Transformers. This work empirically studies the problems behind masked siamese networks with ConvNets. We propose several empirical designs to overcome these problems gradually. Our method performs competitively on low-shot image classification and outperforms previous methods on object detection benchmarks. We discuss several remaining issues and hope this work can provide useful data points for future general-purpose self-supervised learning.

研究の動機と目的

• 標準的なConvNetバックボーンと組み合わせたマスク化シアンプスネットワークが効果的に機能しない根本的問題を特定・解消すること。
• ドメイン知識に依存しない汎用的なマスキングベースの増幅戦略を、多様なビジョンタスクに適用可能であるように開発すること。
• ConvNets向けのマスキング戦略を体系的に最適化することで、低ショット画像分類およびオブジェクト検出の下流性能を向上させること。
• 自己教師あり学習における非トランスフォーマーアーキテクチャへのマスキング適用に関する実証的知見と設計原則を提供すること。

提案手法

• 空間的・チャネル的・マクロ設計の3次元にわたるマルチレベルマスキング戦略を導入し、寄生エッジ効果を低減するとともに、特徴の多様性を維持する。
• 2つの異なるビューに対して、標準的なデータ増幅（例：ランダムクロップ、カラーじた）の後にマスキングを適用することで、マスクされていない領域に基づく表面的な解決策を防ぐ。
• 局所的およびグローバルな特徴学習のバランスを最適化するため、マスキング比とグリッドサイズを最適化する。実験では、20–25%のマスキング比と大きなグリッドサイズ（例：28×28）で最良の性能が得られた。
• 同じ画像の2つのマスキングビュー間で対照的学習目的関数を適用し、マスキングにかかわらず不変な表現を学習できるようにする。
• 100エポック、ResNet-50を用いてImageNet-1Kで訓練し、表現品質の評価に線形評価プロトコルを適用する。
• ビュー共有やマスキング順序といった設計選択を体系的にアブレーションすることで、各コンponentの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜマスク化シアンプスネットワークは、ビジョントランスフォーマーでは成功しているにもかかわらず、標準的なConvNetバックボーンでは機能しないのか？
• RQ2 マスキングに起因する寄生エッジは、ConvNetsにおける特徴学習をどのように歪め、畳み込みカーネルの活性化を抑制するのか？
• RQ3 どのようなマスキング戦略が、ConvNetベースのシアンプスネットワークにおける表現品質を回復させ、下流性能を向上させられるか？
• RQ4 ドメイン固有の増幅に依存せずに、マスキングベースの増幅戦略が競争力のある性能を達成できるか？
• RQ5 マスキング比とグリッドサイズは、ConvNetsにおける局所的およびグローバルな特徴学習のバランスにどのように影響するか？

主な発見

• 標準的なConvNetsを用いたマスク化シアンプスネットワークは、寄生エッジ、特徴の不均衡、マスキングに起因する訓練信号の減少によって失敗する。
• 提案手法MSCNは、ImageNet-1Kで67.6%の線形プローブ精度を達成し、マスキングなしベースラインより1.0%高い性能を示した。
• マスキング比が0.20–0.25の範囲で最適な性能が得られ、マスキング比が0.50まで安定した結果が得られた。
• 大きなマスキンググリッドサイズ（例：28×28）がConvNetsにとって最適であり、ViTsとは対照的に、小規模なパッチが標準である。
• ビュー共有——同じ増幅ビューにマスクを適用する——は、性能を急激に低下させ（29.1%に）、異なるビューを必要とすることが確認された。
• 本手法は一般化性能に優れ、オブジェクト検出ベンチマークで先行手法を上回り、低ショット分類性能においても優れた性能を示した。