[논문 리뷰] What is being transferred in transfer learning?

Behnam Neyshabur, Hanie Sedghi외 1명|arXiv (Cornell University)|2020. 08. 26.

Interpreting and Communication in Healthcare참고 문헌 45인용 수 195

한 줄 요약

이 논문은 사전학습된 모델이 다양한 대상 도메인 간 전달을 가능하게 하는 요소를 조사하고, 특징 재사용과 저수준 통계의 차이를 구분하며 손실 지형의 분지와 모듈 민감도를 분석한다.

ABSTRACT

One desired capability for machines is the ability to transfer their knowledge of one domain to another where data is (usually) scarce. Despite ample adaptation of transfer learning in various deep learning applications, we yet do not understand what enables a successful transfer and which part of the network is responsible for that. In this paper, we provide new tools and analyses to address these fundamental questions. Through a series of analyses on transferring to block-shuffled images, we separate the effect of feature reuse from learning low-level statistics of data and show that some benefit of transfer learning comes from the latter. We present that when training from pre-trained weights, the model stays in the same basin in the loss landscape and different instances of such model are similar in feature space and close in parameter space.

연구 동기 및 목표

• 원천 도메인과 대상 도메인 간에 성공적인 전달을 가능하게 하는 요인을 이해한다.
• 전이 성능에서 특징 재사용과 저수준 데이터 통계의 역할을 정량화한다.
• 사전 학습된 가중치에서 훈련된 모델과 무작위 초기화 모델의 유사성을 특성화한다.
• 네트워크 모듈이 전달 및 강건성에 어떻게 기여하는지 식별한다.
• 사전 학습 체크포인트로부터의 미세 조정에 대한 실용적 시사점을 보여준다.

제안 방법

• 특징 재사용과 저수준 통계를 분리하기 위해 다운스트림 이미지 블록을 셔플한다.
• 여러 대상 도메인에 대해 사전 학습된 초기화 모델(P)과 무작위 초기화 모델(RI)을 비교한다.
• 레이어 간 특징 유사성을 측정하기 위해 중심 커널 정렬(CKA)을 사용한다.
• 모델 인스턴스 간의 매개변수 공간 거리(L2)를 분석한다.
• 손실 지형의 분지와 장벽을 연구하기 위해 모델 매개변수 간 보간을 수행한다.
• 레이어별 교란에 대한 민감도를 판단하기 위해 모듈 중요성을 정의하고 평가한다.

실험 결과

연구 질문

• RQ1 학습된 특징 재사용과 저수준 통계 활용에서 전달 이득의 어느 부분이 기인하는가?
• RQ2 새 도메인으로의 전달에서 사전 학습된 모델과 무작위 초기화 모델은 특징 공간, 매개변수 공간, 손실 지형에서 어떻게 다른가?
• RQ3 일반적 전달과 과제 특이적 전달 행동에 책임이 있는 네트워크 모듈은 무엇인가?
• RQ4 초기 사전 학습 체크포인트에서의 미세 조정이 목표 도메인 정확도를 손실 없이 보존할 수 있는가?
• RQ5 전이될 때 사전 학습된 모델과 무작위 초기화 모델이 동일한 손실 분지에 위치하는가?

주요 결과

• 특징 재사용은 중요하지만 유일한 요인은 아니며, 저수준 통계도 전이 이점에 기여하고 특히 최적화 속도 측면에서 기여한다.
• 두 개의 사전 학습 모델 인스턴스는 비슷한 실수를 저지하고 매개변수 공간의 근접성과 특징 유사성이 무작위 초기화 쌍보다 더 크다.
• 사전 학습 모델은 같은 평탄한 손실 분지에 위치하는 반면, 무작위 초기화 모델은 해들 사이에 장벽이 나타난다.
• 하위 네트워크 계층은 일반적인 특징을 인코딩하는 경향이 있고 상위 계층은 교란에 더 민감하다.
• 사전 학습 가중치로 초기화된 모델은 더 이른 체크포인트에서의 미세 조정으로도 대상 도메인 정확도를 잃지 않고 수행할 수 있다.