[논문 리뷰] Explicit Inductive Bias for Transfer Learning with Convolutional Networks

Xuhong Li, Yves Grandvalet외 1명|arXiv (Cornell University)|2018. 02. 05.

Domain Adaptation and Few-Shot Learning인용 수 149

한 줄 요약

이 논문은 미리 학습된 시작점에 편향된 명시적 규제를 도입하여 L2-SP(및 L2-SP-Fisher)가 여러 전이 학습 작업에서 표준 L2 미세 조정보다 일관되게 우수하다는 것을 보여준다.

ABSTRACT

In inductive transfer learning, fine-tuning pre-trained convolutional networks substantially outperforms training from scratch. When using fine-tuning, the underlying assumption is that the pre-trained model extracts generic features, which are at least partially relevant for solving the target task, but would be difficult to extract from the limited amount of data available on the target task. However, besides the initialization with the pre-trained model and the early stopping, there is no mechanism in fine-tuning for retaining the features learned on the source task. In this paper, we investigate several regularization schemes that explicitly promote the similarity of the final solution with the initial model. We show the benefit of having an explicit inductive bias towards the initial model, and we eventually recommend a simple $L^2$ penalty with the pre-trained model being a reference as the baseline of penalty for transfer learning tasks.

연구 동기 및 목표

• 전이 학습 중에 사전 학습된 CNN의 지식을 보존하기 위해 명시적 귀납 편향의 사용을 동기화한다.
• 전이 학습 중에 사전 학습 매개변수를 참조하는 여러 규제들을 제안하고 비교한다.
• 표준 미세 조정에 비해 이점이 있는지 평가하기 위해 여러 출처-대상 태스크 쌍에서 규제들을 평가한다.
• CNN의 귀납적 전이 학습에서 기준 규제에 대한 실제적인 권고를 제공한다.

제안 방법

• 표준 손실에 페널티 항을 추가하여 정규화된 목표를 정의하고, 기준으로서 사전 학습된 가중치 w0를 참조로 사용한다.
• L2-SP 소개: Omega(w) = (alpha/2) * ||w - w0||^2 를 기본 페널티로 한다.
• 대상 아키텍처가 소스와 다를 때 공유 파라미터와 새로운 파라미터에 대한 별도의 페널티를 도입하여 부분 공유를 확장한다.
• L2-SP-Fisher: 소스 태스크의 민감도를 보존하는 L2-SP의 피셔-정보 가중치 버전.
• L1-SP 및 Group-Lasso-SP 변형을 탐구하여 단위나 그룹에서 파라미터를 고정하도록 유도하고, GL-SP-Fisher를 포함한다.
• 여러 소스/대상 쌍( ImageNet/Places 365 to Caltech 256 MIT Indoors 67 Stanford Dogs 120 )에서 ResNet으로 실험을 수행한다.

실험 결과

연구 질문

• RQ1 사전 학습 시작점에 대한 명시적 귀납 편향이 표준 미세 조정보다 전이 학습 성능을 향상시키는가?
• RQ2 L2-SP, L2-SP-Fisher 및 다른 SP 기반 페널티가 다양한 대상 작업에서 정확도와 안정성 측면에서 어떻게 비교되는가?
• RQ3 전이 학습에 대해 표준 가중치 감소를 지속적으로 능가하는 실용적 기준 페널리는 무엇인가?
• RQ4 전이 성능에 대한 파라미터를 고정하는 것과 SP 페널티를 적용하는 것의 영향은 어떤가?
• RQ5 피셔 가중 페널리티가 귀납적 전이 시나리오에서 의미 있는 이점을 제공하는가?

주요 결과

데이터베이스	L2	L2-SP	L2-SP-Fisher
MIT Indoors 67	79.6 ± 0.5	84.2 ± 0.3	84.0 ± 0.4
Stanford Dogs 120	81.4 ± 0.2	85.1 ± 0.2	85.1 ± 0.2
Caltech 256 – 30	81.5 ± 0.2	83.5 ± 0.1	83.3 ± 0.1
Caltech 256 – 60	85.3 ± 0.2	86.4 ± 0.2	86.0 ± 0.1

• L2-SP 및 L2-SP-Fisher가 모든 대상 작업에서 표준 L2 미세 조정보다 일관되게 개선된다.
• 타깃 데이터가 희박할수록 L2-SP의 개선이 두드러진다.
• L1-SP 및 Group-Lasso-SP 변형은 이러한 전이 설정에서 L2 기반 SP 방법들보다 성능이 좋지 않거나 덜 바람직하다.
• 피셔-정보 기반 SP는 대상 작업 성능에서 간단한 L2-SP보다 크게 우수하지 않지만, lifelong-learning과 같은 시나리오에서 망각을 줄인다.
• 대상 작업에 적응하는 동안 사전 학습 지식을 보존하는 데 있어 L2-SP 미세 조정이 파라미터 고정을 하는 것보다 효과적이다.