[논문 리뷰] Towards Understanding the Transferability of Deep Representations

Hong Liu, Mingsheng Long외 2명|arXiv (Cornell University)|2019. 09. 26.

Advanced Neural Network Applications참고 문헌 30인용 수 14

한 줄 요약

이 논문은 사전 훈련된 표현이 일반화 및 최적화를 어떻게 향상시키는지 분석함으로써 딥 네URAL 네트워크에서의 전이 가능성 메커니즘을 조사한다. 전이된 모델이 더 평평한 최소점으로 수렴하고, 기울기 억제로 인해 손실 곡면이 더 매끄럽고 립시츠 조건을 만족하는 경향이 있으며, 중간 훈련 단계에서 전이 가능성의 피크가 나타나고 이후 감소하는 것으로 나타났으며, 이는 이론적 근거를 지님.

ABSTRACT

Deep neural networks trained on a wide range of datasets demonstrate impressive transferability. Deep features appear general in that they are applicable to many datasets and tasks. Such property is in prevalent use in real-world applications. A neural network pretrained on large datasets, such as ImageNet, can significantly boost generalization and accelerate training if fine-tuned to a smaller target dataset. Despite its pervasiveness, few effort has been devoted to uncovering the reason of transferability in deep feature representations. This paper tries to understand transferability from the perspectives of improved generalization, optimization and the feasibility of transferability. We demonstrate that 1) Transferred models tend to find flatter minima, since their weight matrices stay close to the original flat region of pretrained parameters when transferred to a similar target dataset; 2) Transferred representations make the loss landscape more favorable with improved Lipschitzness, which accelerates and stabilizes training substantially. The improvement largely attributes to the fact that the principal component of gradient is suppressed in the pretrained parameters, thus stabilizing the magnitude of gradient in back-propagation. 3) The feasibility of transferability is related to the similarity of both input and label. And a surprising discovery is that the feasibility is also impacted by the training stages in that the transferability first increases during training, and then declines. We further provide a theoretical analysis to verify our observations.

연구 동기 및 목표

• 다양한 데이터셋과 작업 간에 깊이 있는 표현이 강력하게 전이되는 이유를 이해하기 위해.
• 전이 학습이 모델의 일반화 및 최적화 안정성에 어떻게 기여하는지 조사하기 위해.
• 전이 가능성에 영향을 주는 기울기 동역학과 손실 곡면 성질의 역할을 분석하기 위해.
• 사전 훈련 기간과 전이 성능 간의 관계를 탐색하기 위해.
• 전이 학습에서 관찰된 경험적 현상에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 전이 후 손실 곡면의 매끄러움을 정량화하기 위해 립시츠 상수를 사용하여 손실 곡면 기하학을 분석함.
• 미세조정 중 사전 훈련된 파라미터로부터의 가중치 거리 변화를 추적하여 최소점의 평탄함을 경험적으로 측정함.
• 특히 기울기의 주성분에서의 기울기 크기 억제를 정량화하여 전이된 표현에서의 기울기 억제를 분석함.
• 원천 및 대상 데이터셋 간의 입력 및 레이블 유사도가 다양할 때 전이 가능성을 평가함.
• 사전 훈련 에포크 수를 변경하여 전이 가능성을 시간에 따라 평가하기 위한 추론 실험을 수행함.
• 두 층의 완전 연결 네트워크를 사용한 이론적 분석을 통해 경험적 관찰을 정당화함.

실험 결과

연구 질문

• RQ1 왜 전이된 깊이 있는 특징이 미세조정된 모델에서 더 나은 일반화를 이끌어내는가?
• RQ2 전이 학습은 대상 작업의 최적화 곡면을 어떻게 향상시키는가?
• RQ3 기울기 동역학은 전이 과정에서 훈련을 안정화하고 가속화하는 데 어떤 역할을 하는가?
• RQ4 입력 및 레이블 분포의 유사도는 전이 가능성에 어떻게 영향을 미치는가?
• RQ5 사전 훈련 에포크는 특징의 전이 가능성에 어떻게 영향을 미치는가?

주요 결과

• 전이된 모델은 사전 훈련된 파라미터의 평평한 영역에 가까운 위치에 유지되므로 더 평평한 최소점으로 수렴함.
• 전이 가능한 표현은 손실 곡면의 립시츠 조건을 향상시켜 더 안정적이고 빠른 훈련을 가능하게 함.
• 기울기의 주성분에서의 기울기 억제가 전이된 모델의 훈련 동역학을 안정화시키는 데 기여함.
• 전이 가능성은 완전한 사전 훈련 수렴 시점이 아니라 중간 훈련 단계에서 최고에 도달하며, 이후 감소함.
• 원천 및 대상 작업 간의 입력 및 레이블 분포 유사도가 높은 전이 가능성에 매우 중요함.
• 두 층의 네트워크에 대한 이론적 분석은 경험적 결과를 확인하며 일관된 수렴 한계와 일반화 행동을 보여줌.