[論文レビュー] How Does SimSiam Avoid Collapse Without Negative Samples? A Unified Understanding with Self-supervised Contrastive Learning

Chaoning Zhang, Kang Zhang+4 more|arXiv (Cornell University)|Mar 30, 2022

Face and Expression Recognition被引用数 24

ひとこと要約

論文は、SimSiam が負のサンプルなしで崩壊を回避する理由を、表現を中心成分と残差成分に分解することによって分析し、デセンタリングとデーコレレーションの役割を示し、InfoNCE との統一的な見解を提案する。また、崩壊防止のための予測子の単純化を実証する。

ABSTRACT

To avoid collapse in self-supervised learning (SSL), a contrastive loss is widely used but often requires a large number of negative samples. Without negative samples yet achieving competitive performance, a recent work has attracted significant attention for providing a minimalist simple Siamese (SimSiam) method to avoid collapse. However, the reason for how it avoids collapse without negative samples remains not fully clear and our investigation starts by revisiting the explanatory claims in the original SimSiam. After refuting their claims, we introduce vector decomposition for analyzing the collapse based on the gradient analysis of the $l_2$-normalized representation vector. This yields a unified perspective on how negative samples and SimSiam alleviate collapse. Such a unified perspective comes timely for understanding the recent progress in SSL.

研究の動機と目的

• SimSiam の負のサンプルなしでの崩壊回避を厳密に説明する動機づけ。
• SimSiam における stop-gradient と predictor の役割に関する既存の主張を批評する。
• 崩壊機構を分析するためのベクトル分解フレームワーク（中心と残差）を構築する。
• 中心と残差の追加勾配成分が崩壊を防ぎ、デセンタリングとデーコレレーションに関連することを示す。
• 説明性と安定した学習を高める predictor の単純化を提案する。

提案手法

• SimSiam の説明的主張を見直し、推論上の欠陥を特定する。
• 正規化された表現 Z を中心 o と残差 r（Z = o + r）に分解するベクトル分解を導入する。
• 勾配成分を分析し、中心成分と残差成分がデセンタリングとデーコレレーションを介して崩壊にどのように影響するかを示す。
• InfoNCE と比較して、SSL 手法全体でデセンタリングとデーコレレーションの統一的な見解を示す。
• おもちゃ的設定およびおもちゃ風の設定で勾配成分（o_e と r_e）と崩壊への影響を分離する。
• 崩壊回避を保つような予測子の単純化（例：単一のバイアス層など）を提案する。

実験結果

リサーチクエスチョン

• RQ1 stop-gradient および predictor 成分が SimSiam の崩壊回避にどう寄与しているか、従来の説明は妥当か。
• RQ2 中心-残差ベクトル分解が Siamese SSL アーキテクチャにおける崩壊がいつ、どのように起こるか、または回避されるかを説明できるか。
• RQ3 SimSiam の追加勾配とデセンタリングおよびデーコレレーションのメカニズムとの関係は何か。
• RQ4 InfoNCE の負のサンプルは、SimSiam と同様のデセンタリングとデーコレレーション効果を引き起こすか。
• RQ5 崩壊回避と性能を損なうことなく predictor の複雑さを減らせるか。

主な発見

• Naive な Siamese アーキテクチャは崩壊するが、予測子と stop-gradient を備えた非対称アーキテクチャは崩壊を回避できる。
• Z = o + r のベクトル分解により、中心成分 o はデセンタリングを促進せず、残差成分 r はデーコレレーションを促進し、崩壊回避に寄与することが示される。
• SimSiam の追加勾配は h^{-1}（逆 Predictor）を介するか、デセンタリングとデーコレレーション効果を介して、崩壊を防ぐのに必須である。h^{-1 を用いて最適化ターゲットを処理することは有益だが、h で処理すると崩壊につながる可能性がある。
• InfoNCE の追加勾配も類似のデセンタリングとデーコレレーション構造を持ち、SimSiam の挙動を負のサンプルを伴う対比学習フレームワークと結びつける。
• 予測子を単一のバイアス層に単純化しても崩壊回避を維持でき、デセンタリング/デーコレレーション機構を可能にする L2 正規化ステップが重要である。