[논문 리뷰] Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher Framework

Tengteng Huang, Yifan Sun외 3명|arXiv (Cornell University)|2021. 10. 04.

Advanced Neural Network Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 학생-교수 프레임워크에서 사용하는 새로운 모델 스무딩 메커니즘인 Spatial Ensemble를 제안한다. 이 메커니즘은 교수 모델의 무작위적이고 작은 조각들을 각각 해당하는 학생 모델의 조각으로 대체함으로써, TMA(Temporal Moving Average)와 유사한 성능을 달성한다. Spatial Ensemble를 TMA와 융합한 Spatial-Temporal Smoothing(STS)를 통해 일관된 성능 향상을 이룬다. BYOL을 사용한 ImageNet에서 +0.9%의 top-1 정확도 향상과, FixMatch를 사용한 CIFAR-10에서 라벨 수가 적은 환경에서 +6%의 성능 향상을 기록한다.

ABSTRACT

Model smoothing is of central importance for obtaining a reliable teacher model in the student-teacher framework, where the teacher generates surrogate supervision signals to train the student. A popular model smoothing method is the Temporal Moving Average (TMA), which continuously averages the teacher parameters with the up-to-date student parameters. In this paper, we propose "Spatial Ensemble", a novel model smoothing mechanism in parallel with TMA. Spatial Ensemble randomly picks up a small fragment of the student model to directly replace the corresponding fragment of the teacher model. Consequentially, it stitches different fragments of historical student models into a unity, yielding the "Spatial Ensemble" effect. Spatial Ensemble obtains comparable student-teacher learning performance by itself and demonstrates valuable complementarity with temporal moving average. Their integration, named Spatial-Temporal Smoothing, brings general (sometimes significant) improvement to the student-teacher learning framework on a variety of state-of-the-art methods. For example, based on the self-supervised method BYOL, it yields +0.9% top-1 accuracy improvement on ImageNet, while based on the semi-supervised approach FixMatch, it increases the top-1 accuracy by around +6% on CIFAR-10 when only few training labels are available. Codes and models are available at: https://github.com/tengteng95/Spatial_Ensemble.

연구 동기 및 목표

• 학생-교수 프레임워크에서 갑작스러운 교수 모델 업데이트로 인해 발생하는 보조 감독 신호의 불안정성과 변동성을 해결하기 위해.
• TMA(Temporal Moving Average)의 대안으로서 안정성을 유지하면서도 모델 앙상블 효과를 가능하게 하는 모델 스무딩 메커니즘을 탐색하기 위해.
• 모델 파라미터의 공간적 분할이 시간 평균과 유사하거나 보완적인 스무딩 효과를 낼 수 있는지 조사하기 위해.
• 공간적 및 시간적 스무딩을 융합한 통합된 모델 스무딩 방법을 개발하여 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• Spatial Ensemble는 각 업데이트 단계에서 교수 모델의 파라미터에서 무작위로 작은 조각들을 선택하여, 해당하는 현재 학생 모델의 조각으로 대체한다.
• 이 대체 작업은 다양한 레이어나 파라미터 그룹 간에 수행되어, 교수 모델 내에 이전 학생 모델 구성 요소의 '공간적 앙상블'을 형성한다.
• 각 조각은 교수 모델 내에서 동일한 가중치를 가지며, TMA에서 사용하는 지수 감쇠를 피함으로써 더 분산된 모델 앙상블을 가능하게 한다.
• 이 방법은 TMA와 통합되어 Spatial-Temporal Smoothing(STS)를 형성하며, 여기서 조각들은 학생 모델 조각들의 모멘타 기반 이동 평균을 통해 업데이트된다.
• STS는 두 메커니즘의 장점을 결합한다: TMA의 시간적 안정성과 Spatial Ensemble의 공간적 다양성 및 파라미터 이동에 대한 강건성.
• 이 방법은 아키텍처 변경을 최소화하면서도 자기지도학습(BYOL, MoCo) 및 반지도학습(FixMatch) 프레임워크에 적용 가능하다.

실험 결과

연구 질문

• RQ1 공간적 분할 기반의 모델 스무딩 메커니즘이 학생-교수 프레임워크에서 TMA(Temporal Moving Average)와 유사한 성능을 달성할 수 있는가?
• RQ2 공간적 앙상블 메커니즘이 TMA와 보완적인 이점을 제공하는가, 특히 강건성과 일반화 능력 측면에서?
• RQ3 공간적 및 시간적 스무딩을 통합한 유일한 방법(STS)이 다양한 자기지도학습 및 반지도학습 과제에서 일관된 성능 향상을 이끌 수 있는가?
• RQ4 STS는 데이터 손상 및 전이 학습 환경에서 어떻게 작동하는가, 특히 데이터가 적은 환경에서의 성능은 어떠한가?

주요 결과

• Spatial Ensemble는 자기지도학습에서 TMA와 유사한 성능을 달성하며, BYOL을 사용한 ImageNet에서 top-1 정확도가 +0.9% 향상되었다.
• FixMatch와 통합된 STS는 각 클래스당 라벨 수가 20개뿐인 CIFAR-10에서 top-1 정확도를 +6% 향상시켰다.
• STS는 BYOL, FixMatch, SimSiam 등 여러 최신 기법들에 대해 ImageNet 및 CIFAR 벤치마크에서 일관되게 성능 향상을 이룬다.
• STS로 훈련된 모델은 데이터 손상에 대해 뛰어난 강건성을 보이며, ImageNet-C에서 모든 손상 유형과 강도에서 TMA보다 높은 top-1 정확도를 기록했다.
• STS는 뛰어난 전이 능력을 보이며, VOC07+12 객체 검출에서 82.3%의 AP를 기록하여 BYOL 및 SimSiam 등의 기준 모델을 초월했다.
• 이 방법은 높은 효율성을 유지하며, 표준 훈련 대비 추론 시간이 1.8배 이내에 머물며, 대규모 라벨 예산(예: CIFAR-100에서 10,000개 라벨) 조건에서도 일관된 성능 향상을 보였다.