[논문 리뷰] BYOL works even without batch statistics

Pierre H. Richemond, Jean-Bastien Grill외 9명|arXiv (Cornell University)|2020. 10. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 20

한 줄 요약

이 논문은 배치 정규화(BN)가 바이올(BYOL)이 효과적인 표현을 학습하는 데 필수적이지 않음을 입증한다. BYOL은 배치 통계 자료를 사용하지 않고 그룹 정규화(GN)와 가중치 표준화(WS)를 사용하여 ImageNet에서 73.9%의 상위-1 정확도를 달성한다. 이 결과는 표현 붕괴를 방지하는 데 BN의 암묵적 대조 효과가 있다는 가설을 반박한다.

ABSTRACT

Bootstrap Your Own Latent (BYOL) is a self-supervised learning approach for image representation. From an augmented view of an image, BYOL trains an online network to predict a target network representation of a different augmented view of the same image. Unlike contrastive methods, BYOL does not explicitly use a repulsion term built from negative pairs in its training objective. Yet, it avoids collapse to a trivial, constant representation. Thus, it has recently been hypothesized that batch normalization (BN) is critical to prevent collapse in BYOL. Indeed, BN flows gradients across batch elements, and could leak information about negative views in the batch, which could act as an implicit negative (contrastive) term. However, we experimentally show that replacing BN with a batch-independent normalization scheme (namely, a combination of group normalization and weight standardization) achieves performance comparable to vanilla BYOL ($73.9\%$ vs. $74.3\%$ top-1 accuracy under the linear evaluation protocol on ImageNet with ResNet-$50$). Our finding disproves the hypothesis that the use of batch statistics is a crucial ingredient for BYOL to learn useful representations.

연구 동기 및 목표

• 배치 정규화(BN)가 BYOL이 표현 붕괴를 피하고 높은 성능을 내는 데 필수적인지 조사하기 위해.
• BN이 배치 요소 간 기울기 흐름을 통해 암묵적인 대조 항목을 제공한다는 가설을 테스트하기 위해.
• BN을 유지하면서도 경쟁적인 성능을 내는 대체 정규화 기법이 BYOL에서 사용될 수 있는지 평가하기 위해.
• BN이 없는 상황에서 적절한 가중치 초기화만으로도 보완 가능할 정도로 BN의 영향을 상쇄할 수 있는지 확인하기 위해.
• 배치 통계 자료를 사용하지 않고도 BN과 BN-free 설정 간의 성능 격차를 좁힐 수 있는지 평가하기 위해.

제안 방법

• BYOL의 모든 배치 정규화(BN) 레이어를 그룹 정규화(GN)와 가중치 표준화(WS)로 대체하여 학습 중에 배치 통계 자료를 사용하지 않도록 했다.
• BN의 스케일링 효과를 유지하기 위해 초기 배치 통계 자료를 기반으로 스케일 및 시프트 파라미터를 초기화하는 수정된 가중치 초기화 방법을 사용했지만, 학습 중에는 이를 계산하지 않았다.
• 조정된 초기화 조건으로 모델을 학습: 온보딩 에포크 수를 50으로 증가, 가중치 감소를 3×10⁻⁸로 조정, 기본 학습률을 0.24로 조정, 타겟 업데이트 비율을 0.999로 설정.
• 1000 에포크 후 선형 평가 프로토콜을 사용해 ImageNet에서 성능을 평가했다.
• 네 가지 변형: 기존 BN, 정규화 없음, BN 없이 수정된 초기화, BN 없이 GN+WS를 비교했다.
• 최적화 안정성과 표현 품질에서 BN의 역할을 분리하기 위해 분석 실험을 수행했다.

실험 결과

연구 질문

• RQ1 BYOL이 표현 붕괴를 피하고자 할 때 배치 정규화(BN)가 필수적인가?
• RQ2 BN이 배치 통계 자료를 통해 기울기 흐름을 통해 암묵적인 대조 신호를 제공함으로써 붕괴를 방지하는가?
• RQ3 그룹 정규화와 가중치 표준화와 같은 대체 정규화 기법이 BN을 BYOL에서 성능 손실 없이 대체할 수 있는가?
• RQ4 적절한 가중치 초기화로 BN의 부재를 어느 정도 보완할 수 있는가?
• RQ5 학습 과정에서 배치 통계 자료를 사용하지 않고도 BYOL이 높은 성능을 낼 수 있는가?

주요 결과

• BN을 완전히 제거하고 수정된 가중치 초기화 방법을 사용한 경우, BYOL은 선형 평가 기준으로 ImageNet에서 65.7%의 상위-1 정확도를 달성하여 BN이 없더라도 붕괴가 방지됨을 입증한다.
• BN을 그룹 정규화(GN)와 가중치 표준화(WS)로 대체할 경우, BN과 BN-free 간의 성능 격차가 크게 줄어들어 73.9%의 상위-1 정확도를 기록했으며, 이는 기존 BYOL의 74.3%에 매우 가까운 성능이다.
• GN+WS 변형은 학습 중에 배치 통계 자료를 계산하지 않아도 되므로, 배치 통계 자료를 통한 암묵적 대조 항목이 높은 성능을 내는 데 필수적인 것은 아님을 증명한다.
• BN 레이어를 완전히 제거하면 성능이 거의 무작위 수준(0.1% 상위-1 정확도)으로 붕괴되며, 이는 BN의 역할이 단순한 아키텍처적 요소가 아니라 학습 안정성에 필수적이라는 것을 확인한다.
• 이 연구는 BN이 BYOL에서 주로 학습 안정성과 최적화 다이내믹스를 향상시키는 데 기여하며, 암묵적인 대조 신호를 제공하는 것은 아니라는 것을 확인한다.
• BN의 기울기 흐름이 배치 요소 간에 음성 항목 역할을 한다는 가설은 성능이 높게 유지되므로 반박된다. 이는 그러한 기울기 누출 없이도 성능이 높게 유지되기 때문이다.