[논문 리뷰] Elastic Weight Consolidation Improves the Robustness of Self-Supervised Learning Methods under Transfer

Andrius Ovsianas, Jason Ramapuram외 3명|arXiv (Cornell University)|2022. 10. 28.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 자기지도학습(SSL) 미세조정에서 분포 이탈에 대한 강건성을 향상시키기 위해 탄성 가중치 통합(EWC)과 페일러 정보 행렬(FIM)을 사용하는 방법을 제안한다. 초기 SSL 표현으로 향하는 미세조정 모델을 제약함으로써, ViT-B/16를 사용할 때 Waterbirds에서 5%, Celeb-A에서 2%의 worst-group 정확도(WGA) 향상을 달성한다. 또한 DINO 미리훈련된 모델을 위한 공개된 FIM을 제공한다.

ABSTRACT

Self-supervised representation learning (SSL) methods provide an effective label-free initial condition for fine-tuning downstream tasks. However, in numerous realistic scenarios, the downstream task might be biased with respect to the target label distribution. This in turn moves the learned fine-tuned model posterior away from the initial (label) bias-free self-supervised model posterior. In this work, we re-interpret SSL fine-tuning under the lens of Bayesian continual learning and consider regularization through the Elastic Weight Consolidation (EWC) framework. We demonstrate that self-regularization against an initial SSL backbone improves worst sub-group performance in Waterbirds by 5% and Celeb-A by 2% when using the ViT-B/16 architecture. Furthermore, to help simplify the use of EWC with SSL, we pre-compute and publicly release the Fisher Information Matrix (FIM), evaluated with 10,000 ImageNet-1K variates evaluated on large modern SSL architectures including ViT-B/16 and ResNet50 trained with DINO.

연구 동기 및 목표

• 편향된 다운스트림 데이터 분포로 인해 미세조정된 모델이 레이블 무관 SSL 표현에서 벗어나는 문제를 해결하기 위해.
• 특히 부족한 하위군에 대해 강건성을 향상시키기 위해, 초기 SSL 파라미터로 향하는 미세조정된 모델을 정규화함으로써 다운스트림 작업의 강건성을 향상시키기 위해.
• 베이지안 연속 학습 원칙—특히 EWC—을 SSL 미세조정에 적용하여, 사전훈련과 미세조정을 순차적 학습 과제로 간주하기 위해.
• 비전 트랜스포머(ViT-B/16)에서 FIM의 불량한 조건수를 해결하기 위해, 이로 인해 SSL 성능을 완전히 복구할 수 없음을 해결하기 위해.
• DINO를 사용해 훈련된 현대적인 SSL 아키텍처인 ViT-B/16 및 ResNet50를 위한 FIM을 사전 계산하고 공개함으로써, FIM 정규화를 실용적으로 SSL에 적용할 수 있도록 하기 위해.

제안 방법

• 방법은 탄성 가중치 통합(EWC)을 사용하여 SSL 모델을 미세조정하며, 파라미터 정규화 가중치를 계산하기 위해 페일러 정보 행렬(FIM)을 사용한다.
• FIM은 10,000장의 ImageNet-1K 이미지에 대해 경험적 페일러 정보로 근사하며, 클래스 확률은 모델의 출력 분포에서 샘플링된다.
• ViT-B/16에서 FIM의 나쁜 조건수 문제를 해결하기 위해, 재스케일링을 통한 수정된 FIM을 도입한다: $ F_{\alpha} = (1-\alpha)F + \alpha\bar{F} $, 여기서 $ \bar{F} $는 평균 FIM 값이며 $ \alpha \in [0,1] $이다.
• 정규화 항 $ \frac{1}{2} \| \theta - \theta_{\text{SSL}} \|_{F}^2 $ 은 SSL로 학습된 파라미터 $ \theta_{\text{SSL}} $ 로부터의 이탈을 방지하며, FIM 값은 파라미터 중요도를 나타낸다.
• 초기화는 20회의 무작위 탐색을 통해 수행되며, 그룹 레이블에 접근할 수 없도록 전체 상위-1 정확도를 기반으로 검증된다.
• 이 접근법은 Waterbirds와 Celeb-A에서 검증되며, EWC-FIM, 조정된 FIM, L2, ERM 기준선을 5개의 랜덤 시드로 비교한다.

실험 결과

연구 질문

• RQ1 편향된 데이터 분포를 가진 다운스트림 작업에서, 초기 SSL 표현으로 향하는 EWC 기반 정규화가 worst-group 성능을 향상시킬 수 있는가?
• RQ2 표준 FIM 정규화가 왜 ViT-B/16에서 SSL 성능을 복구하지 못하는가? 이 문제는 어떻게 완화할 수 있는가?
• RQ3 FIM 기반 정규화가 Waterbirds 및 Celeb-A와 같은 벤치마크 데이터셋에서 ERM 기준선 미세조정보다 worst-group 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ4 FIM의 조건수는 비전 트랜스포머(ViT-B/16)에서 EWC의 효과성에 어떤 영향을 미치며, ResNet50와 같은 CNN과 비교해 볼 때 어떻게 다를까?
• RQ5 현대적인 SSL 모델을 위한 FIM을 사전 계산하고 공개함으로써, 실세계 상황에서 실용적이고 강건한 미세조정을 가능하게 할 수 있는가?

주요 결과

• ViT-B/16를 사용할 때, EWC와 FIM 정규화는 ERM 기준선 대비 Waterbirds에서 worst-group 정확도(WGA)를 5% 향상시킨다.
• Celeb-A에서 동일한 방법은 ERM 기준선 대비 ViT-B/16를 사용해 WGA를 2% 향상시킨다.
• ResNet50의 경우, FIM 정규화는 Celeb-A에서 약 1%의 WGA 향상을 보였지만, Waterbirds에서는 ERM보다 성능이 열 劣하다.
• ViT-B/16의 FIM은 나쁜 조건수를 보이며, 많은 값들이 0 또는 $ 10^{-30} $ 근처에 있어, 이는 의사노름(pseudo-norm)이 되어 SSL 모델의 완전한 복구를 방해한다.
• $ \alpha = 10^{-3} $로 FIM을 재스케일링하면 정규화 성능의 파레토 최적선(Pareto front)이 향상되어, 조정되지 않은 FIM과 L2 정규화보다 뛰어난 성능을 보인다.
• 저자들은 ImageNet-1K에서 DINO 미리훈련된 ViT-B/16 및 ResNet50를 위한 사전 계산된 FIM을 공개하여 재현 가능성과 실용적 사용을 가능하게 하였다.