[논문 리뷰] Split Batch Normalization: Improving Semi-Supervised Learning under Domain Shift

Michał Zając, Konrad Żołna외 1명|arXiv (Cornell University)|2019. 04. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 10

한 줄 요약

이 논문은 분야 이동에 대한 강건성을 향상시키기 위해 자기주도 학습(SSL)에서 레이블이 있는 데이터와 없는 데이터에 대해 별도의 배치 정규화 통계를 계산하는 기법인 Split-Batch Normalization(Split-BN)을 제안한다. 분리된 정규화 통계를 통해 레이블이 있는 데이터의 분포와 다를 경우 성능 저하를 크게 줄이며, 노이즈 및 색상 변환을 포함한 다양한 분야 이동 상황에서 CIFAR-10과 ImageNet에서 최신 기준 성능을 달성한다.

ABSTRACT

Recent work has shown that using unlabeled data in semi-supervised learning is not always beneficial and can even hurt generalization, especially when there is a class mismatch between the unlabeled and labeled examples. We investigate this phenomenon for image classification on the CIFAR-10 and the ImageNet datasets, and with many other forms of domain shifts applied (e.g. salt-and-pepper noise). Our main contribution is Split Batch Normalization (Split-BN), a technique to improve SSL when the additional unlabeled data comes from a shifted distribution. We achieve it by using separate batch normalization statistics for unlabeled examples. Due to its simplicity, we recommend it as a standard practice. Finally, we analyse how domain shift affects the SSL training process. In particular, we find that during training the statistics of hidden activations in late layers become markedly different between the unlabeled and the labeled examples.

연구 동기 및 목표

• 레이블이 있는 데이터와 다른 분포에서 온 레이블이 없는 데이터로 인해 자기주도 학습(SSL) 성능이 떨어지는 문제를 해결하기 위해.
• 특히 배치 정규화의 역할을 중심으로 분야 이동 하에서 SSL 성능 저하의 근본 원인을 규명하기 위해.
• 구조적 변경 없이도 적용 가능한 실용적이고 즉각적인 솔루션을 제안하여 SSL의 강건성을 향상시키기 위해.
• 분야 이동 하에서 깊이 신경망의 활성화 통계와 최적화 역학이 어떻게 변화하는지 분석하기 위해.

제안 방법

• 학습 중에 레이블이 있는 데이터와 없는 데이터의 미니배치에 대해 별도의 배치 정규화 통계(평균과 분산)를 계산한다.
• 전방전파 중에 각각의 배치 통계에서 유도된 별도의 정규화 파rameter(α, β)를 레이블이 있는 데이터와 없는 데이터에 적용한다.
• 추론 시에는 표준 배치 정규화를 유지하며, 레이블이 있는 데이터와 없는 데이터의 별도 누적 평균을 유지한다.
• Mean Teacher 및 가상의 적대적 훈련(VAT)과 같은 기존의 SSL 프레임워크와 호환된다.
• 메서드는 경량이며, 표준 SSL 설정 이외의 모델 재학습이나 하이퍼파rameter 조정이 필요하지 않다.
• 저자들은 CIFAR-10과 ImageNet에서 그레이스케일, 노이즈, 대trast 변화, 가림 등 다양한 분야 이동 상황에서 이 방법을 검증하였다.

실험 결과

연구 질문

• RQ1 레이블이 있는 데이터와 없는 데이터 사이의 분야 이동은 자기주도 학습 방법의 성능에 어떤 영향을 미치는가?
• RQ2 왜 배치 정규화는 분야 이동 하에서 성능 저하를 악화시키며, 이것이 근본 원인인가?
• RQ3 레이블이 있는 데이터와 없는 데이터에 대해 배치 정규화 통계를 분리하면 분포 이동 하에서 SSL의 강건성이 향상되는가?
• RQ4 분야 이동 하에서 훈련 중에 은닉 활성화 통계는 어떻게 변화하며, 이는 최적화 역학에 어떤 함의를 갖는가?
• RQ5 분야 이동 하에서 성능 저하의 원인이 배치 정규화에 기인하는가, 아니면 더 일반적인 최적화 문제인가?

주요 결과

• Split-BN는 CIFAR-10과 ImageNet에서 다양한 분야 이동 상황에서 뚜렷한 성능 향상을 이룩하며, 분포 불일치의 부정적 영향을 효과적으로 상쇄한다.
• 그레이스케일 분야 이동 상황에서 CIFAR-10에서 Mean Teacher에 Split-BN를 적용한 결과 77.5%의 정확도를 기록했으며, 이를 적용하지 않은 경우는 73.5%로 4% 향상된 성과를 보였다.
• Split-BN를 적용하면 SSL 훈련 중 보조 손실이 한 계단 감소하여, 비지도 목적 함수 최적화가 향상됨을 시사한다.
• 분야 이동 하에서 깊은 층의 은닉 활성화 통계가 레이블이 있는 데이터와 없는 데이터 간에 뚜렷하게 분리됨을 확인하여, 근본적인 최적화 과제임을 시사한다.
• 배치 정규화 레이어를 제거해도 분야 이동 하에서 성능 저하가 사라지지 않음을 확인하여, 배치 정규화가 SSL 불안정성의 근본 원인이 아님을 증명한다.
• 극단적인 경우, 예를 들어 정교하게 구성된 8A8O-ImageNet 하위셋에서는 어떤 SSL 방법도 레이블이 없는 데이터를 활용하지 못했으며, 이는 분포 이동의 심각성을 강조한다.