[論文レビュー] Exploring Simple Siamese Representation Learning

Xinlei Chen, Kaiming He|arXiv (Cornell University)|Nov 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 414

ひとこと要約

SimSiam は、ネガティブペア・大規模バッチ・モーメンタムエンコーダなしでも、停止勾配により意味のある表現を学習できる単純な Siamese ネットワークが可能であることを示し、ImageNet および転送結果で競争力のある結果を達成します。

ABSTRACT

Siamese networks have become a common structure in various recent models for unsupervised visual representation learning. These models maximize the similarity between two augmentations of one image, subject to certain conditions for avoiding collapsing solutions. In this paper, we report surprising empirical results that simple Siamese networks can learn meaningful representations even using none of the following: (i) negative sample pairs, (ii) large batches, (iii) momentum encoders. Our experiments show that collapsing solutions do exist for the loss and structure, but a stop-gradient operation plays an essential role in preventing collapsing. We provide a hypothesis on the implication of stop-gradient, and further show proof-of-concept experiments verifying it. Our "SimSiam" method achieves competitive results on ImageNet and downstream tasks. We hope this simple baseline will motivate people to rethink the roles of Siamese architectures for unsupervised representation learning. Code will be made available.

研究の動機と目的

• 自己教師あり表現学習における Siamese アーキテクチャの再考を喚起する。
• ネガティブ、巨大バッチ、モメンタムといった一般的な保護機構なしに、単純な Siamese セットアップが崩壊を回避できるかを検討する。
• 停止勾配の役割と他のアーキテクチャ要素が崩壊を防ぐ役割を特徴づける。
• SimSiam を EM に類似した最適化過程に結びつける実証的証拠と仮説を提供する。

提案手法

• 各画像の2つの拡張ビューを、共有エンコーダ f（バックボーン + projection MLP）で処理する。
• 片方の分岐に予測器 M を適用して p を生成し、もう片方の分岐は z を生成する。損失は p と stopgrad(z) の間のネガティブコサイン類似度と、対称ペア間の類似度を最小化する。
• 崩壊を防ぐために、片方の分岐に停止勾配を適用してそのビューを通じる勾配の流れを遮断する。
• 損失は、2つの非対称項の平均として対称化される。
• 学習は標準の SGD を使用し、512 バッチ、同期化された BN、3 層の projection MLP plus 2 層の predictor を用いる。
• 評価は frozen 表現上の ImageNet 線形分類に依存し、バッチサイズ、BN、類似度関数、対称化に関する追加のアブレーションを含む。

実験結果

リサーチクエスチョン

• RQ1 ネガティブサンプル・大規模バッチ・モメンタムエンコーダなしで、Siamese ネットワークは意味のある表現を学習できるか？
• RQ2 単純な Siamese セットアップで崩壊を防ぐメカニズム（例：停止勾配）は何か？
• RQ3 予測器、バッチ正規化、類似度測定などのアーキテクチャの選択は、性能と崩壊傾向にどう影響するか？
• RQ4 学習された表現は ImageNet 以外の下流タスクへどのように転移するか？
• RQ5 SimSiam の挙動と既存手法との関係を説明する理論的視点は何か？

主な発見

• 停止勾配は崩壊を防ぐうえで不可欠で、ネガティブやモーメンタムエンコーダなしでも実験で 67% 以上の非自明な ImageNet 線形精度を可能にする。
• 予測器 MLP は成功に必要であり、それを除去するかパラメータを固定すると精度が著しく低下する。
• さまざまなバッチサイズでもうまく機能することが多く、非常に大きなバッチを必要としないことを示唆する。64–2048 バッチサイズで競争力のある結果を得られた。
• projection の頭部と prediction ヘッドの BN は最適化と精度を改善する。 projection ヘッドの出力に BN を適用するのは有益だが、 predictor の出力への BN は有益ではない。
• コサイン類似度とクロスエントロピー様の類似度の両方が機能する可能性があり、実験ではコサインの方が一般的に性能が良い。
• 対称化は精度を改善するが崩壊を防ぐためには必須ではなく、停止勾配が崩壊を防ぐ鍵となる機構である。