[논문 리뷰] Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors

Ravid Shwartz-Ziv, Micah Goldblum외 5명|arXiv (Cornell University)|2022. 05. 20.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 표준 사전 훈련 모델 가중치를 소스 작업의 사후 분포에서 유도된 학습된 정보성 사전 분포로 대체하는 새로운 베이지안 전이 학습 프레임워크를 제안한다. 이 사전 분포를 통해 감독 또는 자기지도 사전 훈련을 통해 학습된 방법으로 하류 작업의 손실 표면을 재가중함으로써, 이미지 분류 및 의미 세분화 벤치마크 전반에서 정확도 향상과 데이터 효율성 향상이 크게 이루어지며, 표준 미세조정 및 비학습 사전 기반 베이지안 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Deep learning is increasingly moving towards a transfer learning paradigm whereby large foundation models are fine-tuned on downstream tasks, starting from an initialization learned on the source task. But an initialization contains relatively little information about the source task. Instead, we show that we can learn highly informative posteriors from the source task, through supervised or self-supervised approaches, which then serve as the basis for priors that modify the whole loss surface on the downstream task. This simple modular approach enables significant performance gains and more data-efficient learning on a variety of downstream classification and segmentation tasks, serving as a drop-in replacement for standard pre-training strategies. These highly informative priors also can be saved for future use, similar to pre-trained weights, and stand in contrast to the zero-mean isotropic uninformative priors that are typically used in Bayesian deep learning.

연구 동기 및 목표

• 표준 전이 학습이 매개변수 초기화에 의존할 뿐 아니라 풍부한 작업 특화 인도크티브 비이즈를 갖추지 못하는 한계를 해결하기 위해.
• 소스 작업 표현에서 유래한 정보성 사전 분포를 활용하여 하류 작업의 데이터 효율성과 모델 일반화 능력을 향상시키기 위해.
• 학습된 사전 분포를 사용한 베이지안 전이 학습이 표준 미세조정 및 비학습 사전 기반 기준보다 뛰어나다는 것을 입증하기 위해.
• 자기지도 사전 훈련과 감독 사전 훈련을 통해 학습된 사전 분포의 전이 가능성에 대해 탐구하기 위해.
• 표준 사전 훈련의 즉각적인 대체로, 최적화 및 베이지안 추론을 모두 향상시키는 방법을 제공하기 위해.

제안 방법

• 감독 또는 자기지도 사전 훈련(예: SimCLR)을 통해 소스 작업의 모델 가중치에 대한 사후 분포를 학습한다.
• 정보성 있는 매개변수 공간 방향을 포착하기 위해 저랭크 + 대각 행렬 공분산을 갖는 가우시안으로 소스 작업 사후 분포를 표현한다.
• 소스 작업과 타겟 작업 간의 분포 차이를 반영하기 위해 소스 사후 분포를 재스케일링하여 하류 작업의 사전 분포로 사용한다.
• 재스케일링된 사전 분포를 사용해 하류 작업의 음의 로그 사후분포(즉, 손실 함수)를 수정함으로써 손실 표면을 재구성한다.
• 표준 SGD 또는 몬테 카를로 샘플링을 통한 사후 분포에 대한 전체 베이지안 추론을 통해 하류 훈련을 수행한다.
• 학습된 사전 분포를 향후 하류 작업을 위한 재사용 가능한 구성 요소로 저장한다. 이는 사전 훈련된 가중치와 유사하다.

실험 결과

연구 질문

• RQ1 소스 작업에서 유도된 학습된 정보성 사전 분포가 전이 학습에서 하류 성능을 크게 향상시킬 수 있는가?
• RQ2 학습된 사전 분포를 사용한 베이지안 추론이 정확도와 우도 측면에서 표준 미세조정 및 비학습 사전 기반 기준보다 뛰어나게 성능을 높이는가?
• RQ3 사전 훈련 목표의 선택(감독 대비 자기지도)이 사전 분포의 전이 가능성과 하류 성능에 어떤 영향을 미치는가?
• RQ4 정보성 사전 분포가 미세조정에서 데이터 효율성을 얼마나 향상시키는가?
• RQ5 사전 훈련된 사전 분포를 표준 사전 훈련된 가중치의 즉각적인 대체로 사용할 수 있는가?

주요 결과

• CIFAR-10.1에서, 이 방법은 모든 훈련 세트 크기에서 SGD 미세조정 및 비학습 사전 기반 베이지안 추론보다 뛰어난 정확도를 달성하며, 분포 이탈에 대한 강건성을 입증한다.
• ResNet-50를 사용한 PASCAL VOC 2012에서, 자기지도 사전 훈련을 통해 학습된 사전 분포를 사용한 베이지안 추론은 74.15%의 평균 IoU를 기록하여 기준 SGD 방법(73.17%)과 비학습 사전 기반(73.72%)을 모두 능가한다.
• ResNet-101를 사용한 Cityscapes에서, 자기지도 사전 훈련을 통해 학습된 사전 분포를 사용한 방법은 77.63%의 평균 IoU를 기록하여 SGD 기준(77.04%)과 비학습 사전 기반(77.02%)을 초월한다.
• 학습된 사전 분포를 사용한 베이지안 추론은 다른 모든 방법보다 낮은 테스트 음의 로그우도를 기록하여 더 잘 校정된 불확실성 추정을 함을 시사한다.
• MAP 추정(즉, SGD)을 사용할 때조차도 성능 향상이 이루어지며, 이는 정보성 사전 분포의 이점이 전체 베이지안 추론을 넘어서는 것을 보여준다.
• 자기지도 사전 훈련(SimCLR)을 통해 학습된 사전 분포가 감독 사전 훈련을 통해 학습된 사전 분포보다 더 잘 전이됨을 확인하여, 하류 작업에 대해 더 강력한 인도크티브 비이즈를 지닌 것으로 나타났다.