[논문 리뷰] Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning

Zhaowei Cai, Avinash Ravichandran외 4명|arXiv (Cornell University)|2021. 01. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 8

한 줄 요약

이 논문은 학생-교수 자기지도 및 준지도 학습 프레임워크에서 배치 정규화(BN)의 플러그인 대체 기법으로 지수 이동 평균 정규화(EMAN)를 제안한다. EMAN은 학생의 배치 정규화에서 유도된 지수 이동 평균 통계로 교수 네트워크의 배치 통계를 대체하여 샘플 간 종속성을 감소시키고 일반화 성능을 향상시킨다. ImageNet에서 1%/10% 레이블을 사용할 경우 MoCo와 BYOL의 성능을 각각 4–6점, 1–2점 향상시키며 FixMatch의 성능을 7/2점 향상시켜 새로운 최고 성능 기록을 달성한다.

ABSTRACT

We present a plug-in replacement for batch normalization (BN) called exponential moving average normalization (EMAN), which improves the performance of existing student-teacher based self- and semi-supervised learning techniques. Unlike the standard BN, where the statistics are computed within each batch, EMAN, used in the teacher, updates its statistics by exponential moving average from the BN statistics of the student. This design reduces the intrinsic cross-sample dependency of BN and enhances the generalization of the teacher. EMAN improves strong baselines for self-supervised learning by 4-6/1-2 points and semi-supervised learning by about 7/2 points, when 1%/10% supervised labels are available on ImageNet. These improvements are consistent across methods, network architectures, training duration, and datasets, demonstrating the general effectiveness of this technique. The code is available at https://github.com/amazon-research/exponential-moving-average-normalization.

연구 동기 및 목표

• 자기지도 및 준지도 학습에서 배치 정규화(BN)의 샘플 간 종속성을 해결함으로써 ' cheating'을 방지하기 위한 것이다.
• 비동기 업데이트로 인해 발생하는 교수의 파라미터와 BN 통계 간의 일치하지 않는 문제를 해결하기 위한 것이다.
• 복잡한 동기화나 통신이 필요 없이 단순하고 효율적이며 일반화 가능한 정규화 기법을 개발하기 위한 것이다.
• 다양한 자기지도 및 준지도 학습 방법, 아키텍처, 데이터셋에서 성능 향상을 달성하기 위한 것이다.
• 경량의 플러그인 대체 기법으로서 배치 정규화의 대체 기법을 사용해 최소한의 레이블 데이터로 ImageNet에서 최고 성능을 달성하기 위한 것이다.

제안 방법

• EMAN은 시간이 지남에 따라 학생의 배치 정규화 통계에서 유도된 지수 이동 평균 통계로 교수 네트워크의 배치 통계를 대체한다.
• 교수의 정규화 통계(평균 및 분산)는 모델 파라미터 평균화에 사용된 동일한 모멘텀을 사용해 지수 이동 평균(EMA)으로 업데이트된다.
• 이 설계는 교수의 정규화를 현재 배치에서 분리함으로써 기존 BN에서 내재된 샘플 간 종속성을 제거한다.
• 추가 계산이 없이 간단한 선형 변환으로 구현되어 효율적이며 기존 프레임워크와 호환된다.
• EMAN은 교수 네트워크에만 적용되며 학생의 표준 BN을 유지하며 최소한의 코드 변경만 필요하다.
• 이 방법은 MoCo, BYOL, FixMatch와 같은 다양한 자기지도 및 준지도 학습 방법과 호환된다.

실험 결과

연구 질문

• RQ1 교수 네트워크의 배치 정규화를 시간에 따라 누적된 지수 이동 평균 통계로 대체함으로써 자기지도 및 준지도 학습에서 일반화 성능 향상이 가능한가?
• RQ2 교수 정규화에서 샘플 간 종속성을 제거하면 표현 학습 성능 향상과 더 높은 정확도 달성이 가능한가?
• RQ3 아키텍처나 초모수 조정 없이 다양한 아키텍처, 학습 기간, 데이터셋에서 EMAN이 성능 향상에 기여할 수 있는가?
• RQ4 SyncBN이나 ShuffleBN과 같은 복잡한 정규화 기법과 비교해 EMAN은 정확도와 효율성 측면에서 어떤가?
• RQ5 EMAN은 정규화 통계를 모델 파라미터와 일치시킴으로써 EMA-교수 프레임워크의 강건성을 향상시키는가?

주요 결과

• 1% 및 10% ImageNet 레이블이 존재할 때 EMAN은 MoCo와 BYOL의 성능을 각각 4–6점, 1–2점 향상시켜 자기지도 학습에서 뚜렷한 성과를 보였다.
• 1% 및 10% 레이블 조건에서 EMAN은 FixMatch의 성능을 약 7점과 2점 향상시켜 ImageNet에서 각각 63.0% 및 74.0%의 최고 성능 상위 1위 정확도를 달성했다.
• 성능 향상 효과는 다양한 네트워크 아키텍처, 학습 기간, 데이터셋에서 일관되게 나타나 광범위한 적용 가능성을 보였다.
• EMAN은 GPU 간 통신이나 동기화가 필요 없어 표준 배치 정규화와 동일한 효율성을 유지한다.
• 학습 동역학 분석 결과 EMAN 적용 시 손실는 높고 인스턴스 구분 정확도는 낮아지는 경향을 보였으며, 이는 모델의 'cheating'을 방지하고 표현 품질을 향상시킨다는 것을 시사한다.
• 일般적으로 최적의 성능는 학습 에포크의 약 90% 지점에서 달성되며, 이는 EMAN을 사용할 경우 체크포인트 선택에 주의가 필요함을 나타낸다.