[논문 리뷰] Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization

Yunho Jeon, Yong-Seok Choi외 4명|arXiv (Cornell University)|2020. 07. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 4

한 줄 요약

이 논문은 소수의 샘플로 학습할 때 일반화 성능을 향상시키기 위해 동일 클래스의 샘플들 간의 특징 임베딩을 더 유사하게 만들도록 정규화하는 새로운 전이 학습 전략인 샘플 기반 정규화(SBR)를 제안한다. 이는 학습 중 소스 모델에 의존하지 않으며, 다양한 데이터셋과 샘플링 비율에서 기존 방법들을 능가하여 최신 기술 수준의 정확도를 달성한다. 이는 소스 작업에서 유도된 최소한의 인덕티브 편향을 가진다.

ABSTRACT

Training a deep neural network with a small amount of data is a challenging problem as it is vulnerable to overfitting. However, one of the practical difficulties that we often face is to collect many samples. Transfer learning is a cost-effective solution to this problem. By using the source model trained with a large-scale dataset, the target model can alleviate the overfitting originated from the lack of training data. Resorting to the ability of generalization of the source model, several methods proposed to use the source knowledge during the whole training procedure. However, this is likely to restrict the potential of the target model and some transferred knowledge from the source can interfere with the training procedure. For improving the generalization performance of the target model with a few training samples, we proposed a regularization method called sample-based regularization (SBR), which does not rely on the source's knowledge during training. With SBR, we suggested a new training framework for transfer learning. Experimental results showed that our framework outperformed existing methods in various configurations.

연구 동기 및 목표

• 소규모 데이터셋으로 학습할 때 딥 러닝에서 과적합 문제를 해결하기 위해.
• 학습 중 소스 모델을 정규화 기준으로 사용하지 않고도 전이 학습의 일반화 성능을 향상시키기 위해.
• 대상 작업의 내재적 구조와 더 잘 일치하는 대체 정규화 메커니즘을 탐색하기 위해.
• 대상 작업 최적화를 방해할 수 있는 잠재적으로 관련 없는 소스 지식으로부터 간섭을 줄이기 위해.
• 쌍별 샘플 유사성에 기반해 특징 학습을 향상시켜 저자료 환경에서의 강건성을 증진시키는 방법을 개발하기 위해.

제안 방법

• 동일 클래스의 샘플들 간의 특징 임베딩이 최대한 유사해지도록 정규화하는 샘플 기반 정규화(SBR)를 제안한다.
• 대비 손실을 사용하여 동일 클래스의 특징 간의 거리를 최소화함으로써, 특징 추출기의 출력에 SBR를 적용한다.
• 분류기와 특징 추출기를 분리하여, 분류기에는 교차 엔트로피 손실만 적용하고, 특징 추출기에는 SBR 손실만 적용함으로써 간섭을 줄인다.
• 쌍별 유사성 손실을 사용하여, 동일 클래스 샘플들이 더 가까이 오도록 네트워크가 거리 공간을 학습하도록 유도한다. 이는 메트릭 학습과 유사하다.
• 소스 모델을 초기화에만 사용하고, 최적화 중 정규화에 사용하지 않는 학습 프레임워크를 도입한다.
• 두 가지 브런치 손실 전략을 사용한다: 분류를 위한 교차 엔트로피와 클래스 내 특징 수준의 일관성에 대한 SBR

실험 결과

연구 질문

• RQ1 동일 클래스 내 샘플 유사성 기반 정규화가 소수의 샘플로 학습할 때 일반화 성능을 향상시킬 수 있는가?
• RQ2 학습 중 소스 모델에 의존하지 않으면서도, 제한된 데이터로 대상 작업에서 더 나은 성능을 달성할 수 있는가?
• RQ3 소스 모델을 정규화 기준으로 사용하는 기존 전이 학습 방법과 비교해 SBR는 어떻게 성능을 내는가?
• RQ4 쌍별 유사성 정규화는 저자료 환경에서 원-핫 타겟 감독보다 더 잘 일반화되는가?
• RQ5 소스 모델을 변경해도(SBR 성능 유지가 가능한가? 예: ImageNet에서 Places365로)

주요 결과

• CUB에서 100% 샘플링 비율로 Places365를 소스로 사용했을 때 SBR는 74.91%의 정확도를 기록했으며, 최고의 베이스라인(67.39%)을 7.52%포인트 뛰어넘었다.
• Cars 데이터셋에서 100% 샘플링 비율로 SBR는 90.59%의 정확도를 기록했으며, 다음으로 좋은 방법(88.61%)을 1.98%포인트 뛰어넘었다.
• Aircraft 데이터셋에서 100% 샘플링 비율로 SBR는 85.04%의 정확도를 기록했으며, 베이스라인(78.98%)을 6.06%포인트 뛰어넘었다.
• Flowers 데이터셋에서 100% 샘플링 비율로 SBR는 94.73%의 정확도를 기록했으며, 베이스라인(92.14%)을 2.59%포인트 뛰어넘었다.
• SBR는 모든 데이터셋과 샘플링 비율에서 L2-SP, DELTA, BSS 변종을 포함한 모든 베이스라인을 뛰어넘었으며, 이는 강건성과 일반화 능력을 입증한다.
• 낮은 데이터 가용성 조건에서도 뛰어난 성능을 보였으며, Flowers 데이터셋에서 15% 샘플링 비율로 67.47%의 정확도를 기록했고, 이는 59.27%의 베이스라인보다 뚜렷이 높았다.