[논문 리뷰] Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach

Haizhou Shi, Dongliang Luo외 3명|arXiv (Cornell University)|2020. 11. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 10

한 줄 요약

이 논문은 긍정적인 데이터 뷰 간의 정렬과 동시에 모델의 평균 교사(MT)로부터의 거리 최대화를 통해 표현 붕괴를 명시적으로 방지하는 새로운 자기지도 학습 프레임워크인 Run Away From your Teacher(RAFT)를 제안한다. RAFT는 BYOL의 성공에 대한 이론적으로 타당한 설명을 제공하며, 특정 조건 하에서 BYOL과 동치임을 증명하고, CIFAR-10에서의 실험적 벤치마크를 통해 더 뛰어난 정규화와 안정성을 입증한다.

ABSTRACT

Recently, a newly proposed self-supervised framework Bootstrap Your Own Latent (BYOL) seriously challenges the necessity of negative samples in contrastive learning frameworks. BYOL works like a charm despite the fact that it discards the negative samples completely and there is no measure to prevent collapse in its training objective. In this paper, we suggest understanding BYOL from the view of our proposed interpretable self-supervised learning framework, Run Away From your Teacher (RAFT). RAFT optimizes two objectives at the same time: (i) aligning two views of the same data to similar representations and (ii) running away from the model's Mean Teacher (MT, the exponential moving average of the history models) instead of BYOL's running towards it. The second term of RAFT explicitly prevents the representation collapse and thus makes RAFT a more conceptually reliable framework. We provide basic benchmarks of RAFT on CIFAR10 to validate the effectiveness of our method. Furthermore, we prove that BYOL is equivalent to RAFT under certain conditions, providing solid reasoning for BYOL's counter-intuitive success.

연구 동기 및 목표

• BYOL이 부정적 샘플을 기각하고 명시적 균일성 정규화 없이도 성공하는 이유를 이해하는 것.
• BYOL에서 표현 붕괴가 발생하지 않는 역설적인 현상에 대해 새로운 해석 가능하고 명확한 자기지도 학습 프레임워크를 제안하여 이를 해결하는 것.
• 평균 교사로부터 '멀어지는' 목표를 명시적으로 통합함으로써 BYOL에 대한 더 개념적으로 신뢰할 수 있는 대안을 확립하는 것.
• 특정 조건 하에서 BYOL이 RAFT의 특수한 경우임을 이론적으로 증명함으로써 BYOL의 강건성에 대한 설명을 제공하는 것.

제안 방법

• 양방향 목표를 최적화하는 자기지도 학습 프레임워크인 RAFT를 제안한다: (i) 긍정적 데이터 뷰의 표현 간 거리 최소화, (ii) 온라인 네트워크와 그 평균 교사(MT) 간 거리 최대화.
• BYOL의 목표를 분리하기 위해 상한 근사치를 사용하여, '멀어지는' 항목이 원래 BYOL 목표보다 더 강력한 정규화 역할을 한다는 것을 드러낸다.
• 온라인 네트워크가 그 평균 교사로부터 분리되도록 명시적으로 장려하는 새로운 학습 목표를 도입하여 표현 붕괴를 억제한다.
• 이론적 분석을 통해 예측기(predictor)를 제거하고 특정 근사 조건이 성립할 경우 BYOL이 RAFT로 축소됨을 보여주며, 특정 조건 하에서의 동치성을 입증한다.
• CIFAR-10에서 RAFT를 실험적으로 검증하여, 더 강력한 정규화 덕분에 BYOL보다 일관된 성능 향상을 보임을 확인한다.
• 벡터화 및 크로네커 곱 기법을 사용하여 온라인 네트워크와 MT의 기울기 업데이트를 유도하고 최적화의 固定点 해를 분석한다.

실험 결과

연구 질문

• RQ1 BYOL은 부정적 샘플을 기각하고 명시적 균일성 정규화가 없음에도 불구하고 표현 붕괴를 피하는 이유는 무엇인가?
• RQ2 표현 붕괴를 방지하면서도 효과적인 표현 학습을 가능하게 하기 위해 평균 교사는 어떻게 사용될 수 있는가?
• RQ3 BYOL 목표가 RAFT 목표와 동치가 되는 조건는 무엇이며, 이는 BYOL의 기본 메커니즘에 대해 어떤 함의를 갖는가?
• RQ4 BYOL의 예측기는 표현 균일성 최적화에 어떻게 기여하며, 안정성 확보에 필수적인가?
• RQ5 평균 교사로부터 명시적으로 '멀어지는' 자기지도 학습 프레임워크는 정규화와 후행 성능 측면에서 BYOL을 초월할 수 있는가?

주요 결과

• RAFT는 온라인 네트워크와 평균 교사 간 거리를 명시적으로 최대화함으로써 BYOL보다 더 나은 정규화를 달성하여 표현 붕괴를 방지한다.
• CIFAR-10에서의 실험 결과, RAFT는 안정성과 후행 성능 측면에서 BYOL을 능가함을 보여주며, 더 강력한 정규화 효과를 검증한다.
• 이론적 분석을 통해 예측기를 제거하고 데이터 분포가 잘 근사될 경우 BYOL이 RAFT와 동치임을 증명하며, BYOL이 붕괴하지 않는 이유를 설명한다.
• RAFT 최적화의 고정점 해는 가중치 행렬이 데이터에 의존하는 행렬과 고유값을 공유할 경우에만 비자명한 해가 존재함을 보여주며, 열악한 표현을 방지한다.
• 기울기 분석을 통해 최적의 파라미터는 실리우스 방정식을 만족하며, 시스템의 행렬이 비자명한 영공간을 가질 경우에만 비자명한 해가 존재함을 밝혀내며, 유도된 조건 하에서 이를 보장한다.
• 본 연구는 '멀어지는' 목표가 원래 BYOL 목표보다 더 효과적이고 일관된 정규화 역할을 한다는 것을 입증하며, RAFT가 더 개념적으로 타당한 프레임워크임을 보여준다.