[논문 리뷰] How Does SimSiam Avoid Collapse Without Negative Samples? A Unified Understanding with Self-supervised Contrastive Learning

Chaoning Zhang, Kang Zhang외 4명|arXiv (Cornell University)|2022. 03. 30.

Face and Expression Recognition인용 수 24

한 줄 요약

본 논문은 SimSiam이 음수 샘플 없이 왜 붕괴를 피하는지 표현을 중심-잔차 구성요소로 분해하고, 중심화(de-centering)와 상관 제거(de-correlation)의 역할을 보이며, InfoNCE와의 시야를 통합하여 설명하며, 또한 붕괴 방지를 위한 예측자 간소화를 입증합니다.

ABSTRACT

To avoid collapse in self-supervised learning (SSL), a contrastive loss is widely used but often requires a large number of negative samples. Without negative samples yet achieving competitive performance, a recent work has attracted significant attention for providing a minimalist simple Siamese (SimSiam) method to avoid collapse. However, the reason for how it avoids collapse without negative samples remains not fully clear and our investigation starts by revisiting the explanatory claims in the original SimSiam. After refuting their claims, we introduce vector decomposition for analyzing the collapse based on the gradient analysis of the $l_2$-normalized representation vector. This yields a unified perspective on how negative samples and SimSiam alleviate collapse. Such a unified perspective comes timely for understanding the recent progress in SSL.

연구 동기 및 목표

• SimSiam의 음수 샘플 없이 붕괴를 피하는 데 대한 엄밀한 설명을 동기 부여한다.
• SimSiam에서 stop-gradient와 예측자 역할에 대한 기존 주장에 비판한다.
• 붕괴 메커니즘을 분석하기 위한 벡터 분해 프레임워크(중심과 잔여)를 개발한다.
• 추가 기울기 구성요소(중심 및 잔여)가 붕괴를 방지하는 방식과 이를 중심화 및 상관 제거와의 관계를 보여준다.
• 설명을 더 용이하게 하고 학습을 안정적으로 만들기 위한 예측자 간소화를 제안한다.

제안 방법

• SimSiam의 설명 주장을 재검토하고 논리상의 결함을 식별한다.
• Z의 정규화된 표현을 중심 o와 잔여 r(Z = o + r))으로 벡터 분해를 도입한다.
• 중심 및 잔여 부분이 de-centering 및 de-correlation을 통해 붕괴에 어떻게 영향을 주는지 그라디언트 구성요소를 분석한다.
• InfoNCE와 비교하여 SSL 방법 전반에서 de-centering 및 de-correlation의 통합 시각을 보인다.
• o_e와 r_e의 효과를 격리하기 위한 토이 및 토이 유사 설정으로 실험을 수행한다.
• 붕괴 피지를 유지하는 단일 바이어스 층 등의 예측자 간소화를 제안한다.

실험 결과

연구 질문

• RQ1 stop-gradient 및 예측기 구성요소가 SimSiam의 붕괴 회피에 어떻게 기여하는지, 그리고 기존 설명이 타당한지 여부.
• RQ2 중심-잔여 벡터 분해가 Siamese SSL 아키텍처에서 붕괴가 발생하는지 또는 회피되는지 설명할 수 있는가.
• RQ3 SimSiam의 추가 기울기와 중심화 및 상관 제거 메커니즘 간의 관계는 무엇인가.
• RQ4 InfoNCE의 부가 기울기가 SimSiam에서의 de-centering 및 de-correlation 효과와 어떻게 유사하게 작용하는가?
• RQ5 예측자 복잡성을 붕괴 회피 및 성능을 해치지 않으면서 감소시킬 수 있는가?

주요 결과

• Naive Siamese 아키텍처는 붕괴되지만, 예측자 및 stop-gradient를 가진 비대칭 아키텍처는 붕괴를 피한다.
• Z = o + r 벡터 분해는 중심 성분 o가 de-center(중심화 해제)을 경향시키고 잔여 성분 r이 de-correlation을 촉진하여 붕괴를 피하는 데 도움을 준다는 것을 드러낸다.
• SimSiam의 추가 기울기는 h^{-1}(역 예측자)을 통해 처리되거나 중심화 및 상관 제거 효과를 통해 붕괴 방지에 필수적이며, 최적화 대상의 h^{-1 처리은 이로운 반면 h로 처리하면 붕괴로 이어질 수 있다.
• InfoNCE의 추가 기울기도 유사한 de-centering 및 de-correlation 구조를 가지며, SimSiam의 동작을 음수를 가진 대비 프레임워크와 연결한다.
• 예측자를 단일 바이어스 층으로 간소화하면 붕괴 회피를 유지할 수 있으며, de-centering/de-correlation 메커니즘을 가능하게 하는 L2 정규화 단계가 중요하다.