[논문 리뷰] Efficient K-Shot Learning with Regularized Deep Networks

Donghyun Yoo, Haoqi Fan외 2명|arXiv (Cornell University)|2017. 10. 06.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 과적합을 줄이고 일반화 성능을 향상시키기 위해 사전 훈련된 딥 네트워크의 뉴런 파라미터를 군집화하는 정규화 방법을 제안한다. 유사한 활성화 패턴을 가진 뉴런을 그룹화하고 강화학습을 활용해 군집 할당을 최적화함으로써, 다양한 데이터셋과 샷 설정에서 최신의 미세조정 기준 대비 최대 10%의 정확도 향상을 달성한다.

ABSTRACT

Feature representations from pre-trained deep neural networks have been known to exhibit excellent generalization and utility across a variety of related tasks. Fine-tuning is by far the simplest and most widely used approach that seeks to exploit and adapt these feature representations to novel tasks with limited data. Despite the effectiveness of fine-tuning, itis often sub-optimal and requires very careful optimization to prevent severe over-fitting to small datasets. The problem of sub-optimality and over-fitting, is due in part to the large number of parameters used in a typical deep convolutional neural network. To address these problems, we propose a simple yet effective regularization method for fine-tuning pre-trained deep networks for the task of k-shot learning. To prevent overfitting, our key strategy is to cluster the model parameters while ensuring intra-cluster similarity and inter-cluster diversity of the parameters, effectively regularizing the dimensionality of the parameter search space. In particular, we identify groups of neurons within each layer of a deep network that shares similar activation patterns. When the network is to be fine-tuned for a classification task using only k examples, we propagate a single gradient to all of the neuron parameters that belong to the same group. The grouping of neurons is non-trivial as neuron activations depend on the distribution of the input data. To efficiently search for optimal groupings conditioned on the input data, we propose a reinforcement learning search strategy using recurrent networks to learn the optimal group assignments for each network layer. Experimental results show that our method can be easily applied to several popular convolutional neural networks and improve upon other state-of-the-art fine-tuning based k-shot learning strategies by more than10%

연구 동기 및 목표

• 낮은 데이터량과 높은 파라미터 중복성으로 인한 딥 네트워크의 미세조정 과정에서의 과적합 문제를 해결한다.
• 유사한 상호관계를 가지는 파라미터를 군집화하여 미세조정 중에 네트워크의 유효 용량을 줄이되, 그룹 내 유사성과 그룹 간 다양성을 유지한다.
• 구조적 수정 없이도 어떤 사전 훈련된 네트워크에도 적용 가능한 작업 무관, 아키텍처 무관인 방법을 개발한다.
• k-샷 샘플 간의 특징 분리 능력을 향상시키기 위해 트리플릿 손실을 도입하여 저자료 환경에서의 감독을 강화한다.
• 모든 네트워크 레이어에 걸쳐 최적의 군집 구성 설정을 효율적으로 탐색하기 위한 검색 기반 메커니즘을 설계한다.

제안 방법

• k-샷 작업에서의 활성화 유사도를 기반으로 각 레이어 내 뉴런 파라미터를 군집화하여 동일한 기울기 업데이트를 공유하는 그룹을 형성한다.
• 활성화 패턴 간의 그룹 내 유사성과 그룹 간 수직성을 강제하여 표현 다양성을 유지한다.
• k-샷 샘플 간의 특징 분리 능력을 향상시키기 위해 교차 엔트로피 손실과 트리플릿 손실을 조합한 하이브리드 손실을 도입한다.
• 순환 정책 네트워크를 갖춘 강화학습 에이전트를 사용하여 레이어 간 최적의 군집 구성 설정을 탐색한다.
• 검증 정확도를 최대화하도록 RL 에이전트를 훈련시켜 군집 하이퍼파ram터의 엔드 투 엔드 최적화를 가능하게 한다.
• 구조적 수정 없이 표준 사전 훈련된 네트워크(예: ResNet-18, VGG)에 적용하여 기존의 미세조정 파이프라인과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 네트워크 내 뉴런 파라미터의 군집화가 k-샷 미세조정 과정에서 과적합을 줄이는가?
• RQ2 활성화 패턴의 그룹 내 유사성과 그룹 간 수직성을 강제할 경우 저자료 환경에서 일반화 성능이 향상되는가?
• RQ3 강화학습 기반의 검색 전략이 여러 네트워크 레이어에 걸쳐 최적의 군집 구성 설정을 효율적으로 식별할 수 있는가?
• RQ4 제안된 방법은 표준 미세조정 및 다른 최신의 k-샷 학습 접근법과 비교해 정확도와 내구성 면에서 우수한가?
• RQ5 깊은 레이어에서도 파라미터 중복성이 지속되는가? 이는 모든 레이어에 걸쳐 군집화를 수행할 근거가 되는가?

주요 결과

• 제안된 방법은 CIFAR-100에서 CIFAR-10으로의 전이 학습에서 표준 미세조정 대비 6.37% 향상된 1-샷 학습 정확도를 확보했으며, 마진 손실를 적용한 강력한 베이스라인 대비 4.3% 향상되었다.
• 10-샷 학습에서는 60.30%의 정확도를 기록하여 다음으로 우수한 방법(GNA+트리플릿 손실+그리디)보다 1.74% 높은 성능을 보였다.
• 모든 샷 설정에서 일관되게 성능 향상을 보였으며, 표준 미세조정 대비 1-샷 학습에서 1.52%p, 10-샷 학습에서 2.24%p의 절대 정확도 향상을 확보했다.
• ResNet-18의 모든 레이어를 군집화할 경우 최고의 성능(10-샷에서 84.08% 정확도)을 기록하여, 중복성이 초기 레이어를 넘어서 존재함을 확인했다.
• 군집화 적용 후 예측의 표준편차가 크게 감소했다(예: 1-샷에서 10.66에서 0.76로 감소), 이는 훈련 안정성 향상을 의미한다.
• 강화학습 기반의 검색 전략은 최적의 군집 구성 설정을 효과적으로 식별했으며, 그림 6에서와 같이 반복 과정을 거치면서 성능이 향상됨을 확인했다.