[논문 리뷰] On the Pros and Cons of Momentum Encoder in Self-Supervised Visual Representation Learning

Trung Pham, Chaoning Zhang외 3명|arXiv (Cornell University)|2022. 08. 11.

Digital Imaging for Blood Diseases인용 수 5

한 줄 요약

이 논문은 자기지도 학습 시각 표현 학습에서 동량 인코더의 역할을 조사하고, 전체 네트워크 동량보다 더 효율적인 대안으로 프로젝터 전용 동량을 제안한다. 깊은 층에서의 기울기 불안정성 분석을 통해, 전체 인코더가 아닌 최종 프로젝터에만 동량을 적용하는 것이 성능 향상을 유지하면서도 이중 전방전파를 피함으로써 계산 비용을 줄이는 데 성공한다.

ABSTRACT

Exponential Moving Average (EMA or momentum) is widely used in modern self-supervised learning (SSL) approaches, such as MoCo, for enhancing performance. We demonstrate that such momentum can also be plugged into momentum-free SSL frameworks, such as SimCLR, for a performance boost. Despite its wide use as a fundamental component in modern SSL frameworks, the benefit caused by momentum is not well understood. We find that its success can be at least partly attributed to the stability effect. In the first attempt, we analyze how EMA affects each part of the encoder and reveal that the portion near the encoder's input plays an insignificant role while the latter parts have much more influence. By monitoring the gradient of the overall loss with respect to the output of each block in the encoder, we observe that the final layers tend to fluctuate much more than other layers during backpropagation, i.e. less stability. Interestingly, we show that using EMA to the final part of the SSL encoder, i.e. projector, instead of the whole deep network encoder can give comparable or preferable performance. Our proposed projector-only momentum helps maintain the benefit of EMA but avoids the double forward computation.

연구 동기 및 목표

• 기존 동량 인코더의 동량 이론적 배경을 넘어서, 자기지도 학습에서의 경험적 이점을 이해하기 위해.
• 동량의 성능 향상이 특히 깊은 네트워크 층에서의 안정성에 기인하는지 조사하기 위해.
• 전체 인코더가 아닌 프로젝터에만 동량을 집중시켜 계산 오버헤드를 줄이기 위해.
• 프로젝터 전용 동량이 이중 전방전파 없이도 비교적 높은 성능을 달성함을 검증하기 위해.

제안 방법

• 백본의 개별 블록으로 동량 인코더를 분해하고, 각 층 간의 기울기 변동성을 분석한다.
• 각 블록의 출력에 대한 전체 손실의 기울기를 모니터링하여 불안정성을 정량화한다.
• 최종 MLP 프로젝터에만 EMA를 적용하는 프로젝터 전용 동량 메커니즘을 제안하며, 백본 가중치는 공유한다.
• 최종 층(블록 4 및 프로젝터)에 배치 정규화(BN)를 적용하여 추가로 학습 안정성을 높인다.
• CIFAR-10 및 CIFAR-100에서 전체 EMA(BYOL 등), 프로젝터 전용 EMA, 베이스라인 모델 간의 선형 평가 정확도를 비교한다.
• 학습 단계별 필터 가중치를 시각화하여 EMA 유무에 따른 안정성 차이를 입증한다.

실험 결과

연구 질문

• RQ1 자기지도 학습에서 동량 인코더의 성능 향상 배경이 되는 주요 메커니즘은 무엇인가?
• RQ2 동량의 영향은 인코더 네트워크의 다양한 단계에서 어떻게 다를까?
• RQ3 계산 비용을 줄이기 위해 동량을 프로젝터로 국한해도 성능 향상 효과를 유지할 수 있는가?
• RQ4 성능 손실 없이 동량을 프로젝터에만 적용하는 것이 가능한가?
• RQ5 배치 정규화가 프로젝터 전용 동량과 결합될 경우 학습 안정성을 어떻게 향상시키는가?

주요 결과

• 동량의 성능 향상은 주로 인코더의 최종 층에서 향상된 학습 안정성 덕분이며, 이는 특히 최종 층에서 두드러진다.
• 기울기 변동성이 최종 층(예: 블록 4 및 프로젝터)에서 뚜렷이 높아, 안정성이 낮음을 시사하며, 이에 동량이 효과적으로 대응한다.
• 프로젝터 전용 동량은 CIFAR-100에서 88.45%의 선형 평가 정확도를 달성하여, 베이스라인 BYOL 성능과 동일하며, 백본에 대한 이중 전방전파를 피한다.
• 블록 4의 출력과 프로젝터에 배치 정규화를 적용하면 프로젝터 전용 EMA 성능이 더욱 향상되어 88.45%의 정확도를 기록하며, 전체 BYOL 베이스라인과 거의 동일한 성능을 달성한다.
• 시각화 결과, 동량이 없을 경우 필터가 불안정한 피크(예: 약 10,000단계에서)를 보이지만, EMA 적용 시 일관되고 부드러운 학습 곡선을 나타낸다.
• 초기 인코더 단계에 동량을 적용해도 영향이 미미하며, 이는 성능 향상의 주요 원인이 최종 층임을 확인한다.