[논문 리뷰] Exploring Simple Siamese Representation Learning

Xinlei Chen, Kaiming He|arXiv (Cornell University)|2020. 11. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 414

한 줄 요약

SimSiam은 간단한 시암 네트워크가 음수 쌍, 대형 배치, 모멘텀 인코더 없이도 stop-gradient 덕분에 의미 있는 표현을 학습할 수 있음을 보여주며, ImageNet 및 전이 결과에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

Siamese networks have become a common structure in various recent models for unsupervised visual representation learning. These models maximize the similarity between two augmentations of one image, subject to certain conditions for avoiding collapsing solutions. In this paper, we report surprising empirical results that simple Siamese networks can learn meaningful representations even using none of the following: (i) negative sample pairs, (ii) large batches, (iii) momentum encoders. Our experiments show that collapsing solutions do exist for the loss and structure, but a stop-gradient operation plays an essential role in preventing collapsing. We provide a hypothesis on the implication of stop-gradient, and further show proof-of-concept experiments verifying it. Our "SimSiam" method achieves competitive results on ImageNet and downstream tasks. We hope this simple baseline will motivate people to rethink the roles of Siamese architectures for unsupervised representation learning. Code will be made available.

연구 동기 및 목표

• 무감독 표현 학습에서 시암 네트워크 아키텍처를 재고하도록 동기를 부여합니다.
• 간단한 시암 설정이 일반적인 보호장치(음수, 대형 배치, 모멘텀) 없이도 붕괴를 피할 수 있는지 조사합니다.
• 붕괴를 방지하는 데 있어 stop-gradient 및 다른 아키텍처 구성 요소의 역할을 특징짓습니다.
• SimSiam을 EM과 유사한 최적화 과정과 연관시키는 경험적 증거와 가설을 제시합니다.

제안 방법

• 각 이미지의 두 개의 증강 뷰가 공유 인코더 f(백본 + 프로젝션 MLP)에 의해 처리됩니다.
• Predictor M이 한 가지 분기에 적용되어 p를 생성하고, 다른 분기는 z를 얻습니다; 손실은 p와 stopgrad(z) 간의 음의 코사인 유사도 및 대칭 쌍 간의 유사도를 최소화합니다.
• Stop-gradient는 붕괴를 방지하기 위해 한 분기에 적용되어 해당 뷰를 통해 그래디언트가 흐르는 것을 방지합니다.
• 손실은 두 비대칭 항의 평균으로 대칭화됩니다.
• 학습은 512-배치, 동기화 BN, 3층 프로젝션 MLP 및 2층 예측기로 표준 SGD를 사용합니다.
• 평가는 고정된 표현에서 ImageNet 선형 분류로 의존하며, 배치 크기, BN, 유사도 함수, 대칭화에 대한 추가 절차를 수행합니다.

실험 결과

연구 질문

• RQ1 음수 샘플, 대형 배치, 모멘텀 인코더 없이 시암 네트워크가 의미 있는 표현을 학습할 수 있을까?
• RQ2 간단한 시암 설정에서 붕괴를 방지하는 메커니즘(예: stop-gradient)은 무엇인가?
• RQ3 예측기, 배치 정규화, 유사도 측정과 같은 아키텍처 선택이 성능과 붕괴 경향에 어떤 영향을 미치는가?
• RQ4 학습된 표현이 ImageNet을 넘어 다운스트림 작업으로 얼마나 잘 전이되는가?
• RQ5 SimSiam의 동작과 기존 방법과의 관계를 설명하는 이론적 시각은 무엇인가?

주요 결과

• Stop-gradient는 붕괴를 방지하는 데 필수적이며, 음수나 모멘텀 인코더 없이도 실험에서 67% 이상의 의미 있는 ImageNet 선형 정확도를 가능하게 한다.
• Predictor MLP는 성공에 필요하며, 이를 제거하거나 매개변수를 고정하면 정확도가 현저히 감소한다.
• 다양한 배치 크기에서 잘 작동하며 매우 큰 배치가 필요 없다; 64–2048 배치 크기가 경쟁력 있는 결과를 냈다.
• 프로젝션 및 예측 헤드의 배치 정규화가 최적화와 정확도를 향상시키며, 프로젝션 헤드의 출력에 BN은 유익하고, 예측기 출력의 BN은 그렇지 않다.
• 코사인 유사도와 교차 엔트로피 유사도 모두 작동할 수 있으며, 실험에서 일반적으로 코사인 유사도가 더 잘 작동했다.
• 대칭화는 정확도를 높이지만 붕괴 방지에 필요하지는 않다; stop-gradient가 핵심 붕괴 방지 메커니즘이다.