[논문 리뷰] Weighted Ensemble Self-Supervised Learning

Yangjun Ruan, Saurabh Singh외 5명|arXiv (Cornell University)|2022. 11. 18.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 표현 백본을 수정하지 않고 다수의 프로젝션 헤드에 데이터에 의존하는 가중치를 적용하는 경량이고 효율적인 앙상블 방법을 제안한다. 동적으로 불확실성 또는 다양성을 기반으로 앙상블 헤드의 가중치를 조정함으로써, 특히 소수의 샘플이 있는 설정에서의 최종 성능을 향상시킨다. 이 방법은 ImageNet-1K에서 1-샷 학습 시 MSN ViT-B/16보다 3.9%p 향상된 성능을 달성한다.

ABSTRACT

Ensembling has proven to be a powerful technique for boosting model performance, uncertainty estimation, and robustness in supervised learning. Advances in self-supervised learning (SSL) enable leveraging large unlabeled corpora for state-of-the-art few-shot and supervised learning performance. In this paper, we explore how ensemble methods can improve recent SSL techniques by developing a framework that permits data-dependent weighted cross-entropy losses. We refrain from ensembling the representation backbone; this choice yields an efficient ensemble method that incurs a small training cost and requires no architectural changes or computational overhead to downstream evaluation. The effectiveness of our method is demonstrated with two state-of-the-art SSL methods, DINO (Caron et al., 2021) and MSN (Assran et al., 2022). Our method outperforms both in multiple evaluation metrics on ImageNet-1K, particularly in the few-shot setting. We explore several weighting schemes and find that those which increase the diversity of ensemble heads lead to better downstream evaluation results. Thorough experiments yield improved prior art baselines which our method still surpasses; e.g., our overall improvement with MSN ViT-B/16 is 3.9 p.p. for 1-shot learning.

연구 동기 및 목표

• 표현 백본의 아키텍처를 변경하지 않고도 자율학습 성능을 향상시키기 위한 효율적인 앙상블 방법을 개발하는 것.
• 자율학습에서 앙상블의 잠재적 잠재력이 다소 간과되어 왔음을 고려해, 앙상블 헤드에 대한 데이터에 의존하는 가중치 부여 기법을 도입하는 것.
• 적응형 가중치를 통한 앙상블 다양성 증가가 더 나은 최종 일반화 성능을 이끌어내는지 입증하는 것.
• 특히 소수의 데이터 환경인 소수의 샘플 학습에서 최소한의 학습 및 추론 오버헤드로도 상당한 성능 향상을 달성하는 것.

제안 방법

• 공유된 표현 인코더와 함께 독립적인 다수의 프로젝션 헤드(앙상블 구성원)를 훈련하는 프레임워크를 개발하며, 백본을 수정하지 않는다.
• 교사 예측 기반으로 동적으로 가중치가 할당되는 가중치가 부여된 교차 엔트로피 손실의 가족을 도입한다(예: 엔트로피, 분산, 또는 확률 기반 가중치).
• 비정규화된 교차 엔트로피와 비정규화된 KL 발산을 사용하여, 공동으로 볼록하고 미분 가능한 손실 함수를 유도함으로써 안정적인 훈련을 가능하게 한다.
• 엔트로피 기반 가중치(Ent)와 분산 기반 가중치를 사용하여 불확실성 또는 다양성이 높은 예측을 우선시함으로써 모델의 강건성을 향상시킨다.
• 앙상블은 훈련 기간 동안만 적용되며, 최종 모델은 단일 표현 인코더만 사용하므로 추론 시 런타임 오버헤드가 없다.
• 가중치 손실 함수를 적용한다: $\mathcal{L}^{\text{Ent}}_n(\theta) = \frac{1}{n}\sum_x \sum_i \text{softmax}_i(-\frac{1}{\gamma}\mathsf{H}[t_{i'}(Y|x)]) \cdot \mathsf{H}^\times[t_i(Y|x), s(Y|\theta_i,x)]$, 여기서 교사 예측의 높은 엔트로피에 주목한다.

실험 결과

연구 질문

• RQ1 표현 백본을 수정하지 않으면서 추론 비용을 증가시키지 않고 앙상블이 자율학습 성능을 향상시킬 수 있는가?
• RQ2 앙상블 헤드에 대한 다양한 데이터에 의존하는 가중치 부여 기법이 모델의 다양성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 적응형 가중치를 통한 앙상블 다양성 증가가 특히 소수의 샘플 학습에서 더 나은 일반화 성능을 이끌어내는가?
• RQ4 DINO와 MSN에 적용했을 때 제안된 방법이 최신의 자율학습 기준 성능을 초월할 수 있는가?
• RQ5 엔트로피, 균일, 확률 기반 가중치 부여 기법이 표현 품질과 불확실성 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 ImageNet-1K에서 1-샷 선형 평가 시 MSN ViT-B/16보다 3.9%p 향상된 성능을 달성하여 이전의 최고 성능 기준보다 뚜렷이 뛰어나다.
• 엔트로피 기반 가중치(Ent)를 사용한 앙상블이 가장 우수한 성능을 보이며, 이는 불확실성 인식 가중치가 모델의 다양성과 일반화 성능을 향상시킨다는 것을 입증한다.
• DINO의 경우 1-샷 학습에서 최대 7.5%p 향상되었으며, 1-, 2-, 5-샷 설정 전반에서 일관된 성능 향상이 관찰되었다.
• 절단 실험 결과, 다양성 증가를 유도하는 가중치 부여 기법(예: Ent, Var)이 균일하거나 확률 기반 가중치보다 더 나은 최종 성능을 내는 것으로 나타났다.
• 이 프레임워크는 최소한의 학습 비용으로도 성과를 달성하였으며, 추론 시에는 단일 표현 인코더만 사용하므로 오버헤드가 전혀 없었다.
• 표준 기법으로 개선된 이전 기준 성능 모델조차도 이 앙상블 메커니즘이 자체적으로 효과적이라는 것을 입증하며, 이를 뛰어넘었다.