[논문 리뷰] Locality Guidance for Improving Vision Transformers on Tiny Datasets

Kehan Li, Runyi Yu외 4명|arXiv (Cornell University)|2022. 07. 20.

CCD and CMOS Imaging Sensors인용 수 4

한 줄 요약

이 논문은 작고 제한된 데이터셋에서 비전 트랜스포머(VTs)가 국소적 이미지 구조를 학습하기 어려운 데 기인한 성능 저하 문제를 해결하기 위해 경량 CNN에서의 distillation을 통한 국소성 가이던스를 제안한다. VT가 레이블에서 학습하는 것과 함께 경량 CNN의 특징을 모방하도록 공동으로 훈련시킴으로써 성능을 크게 향상시킨다. 예를 들어 DeiT에서는 +13.07%, T2T에서는 +8.98%, PVT에서는 +7.85% 향상되었으며, 대규모 사전 훈련이 필요하지 않다.

ABSTRACT

While the Vision Transformer (VT) architecture is becoming trendy in computer vision, pure VT models perform poorly on tiny datasets. To address this issue, this paper proposes the locality guidance for improving the performance of VTs on tiny datasets. We first analyze that the local information, which is of great importance for understanding images, is hard to be learned with limited data due to the high flexibility and intrinsic globality of the self-attention mechanism in VTs. To facilitate local information, we realize the locality guidance for VTs by imitating the features of an already trained convolutional neural network (CNN), inspired by the built-in local-to-global hierarchy of CNN. Under our dual-task learning paradigm, the locality guidance provided by a lightweight CNN trained on low-resolution images is adequate to accelerate the convergence and improve the performance of VTs to a large extent. Therefore, our locality guidance approach is very simple and efficient, and can serve as a basic performance enhancement method for VTs on tiny datasets. Extensive experiments demonstrate that our method can significantly improve VTs when training from scratch on tiny datasets and is compatible with different kinds of VTs and datasets. For example, our proposed method can boost the performance of various VTs on tiny datasets (e.g., 13.07% for DeiT, 8.98% for T2T and 7.85% for PVT), and enhance even stronger baseline PVTv2 by 1.86% to 79.30%, showing the potential of VTs on tiny datasets. The code is available at https://github.com/lkhl/tiny-transformers.

연구 동기 및 목표

• 비전 트랜스포머(VTs)가 전역 자기주의 주의 메커니즘으로 인해 국소적 이미지 구조를 포착하지 못해 작고 제한된 데이터셋에서 성능이 열 劣하는 문제를 해결한다.
• 대규모 데이터가 부족한 분야(예: 의료 영상)에서는 대규모 사전 훈련이 불가능하고, 사전 훈련-fine-tuning 전략이 비용이 많이 들고 유연성이 떨어지는 문제를 해결한다.
• 대규모 사전 훈련이나 아키텍처 변경 없이도 작고 제한된 데이터셋에서 VT를 향상시키기 위한 단순하고 효율적이며 일반적인 방법을 개발한다.
• 훈련을 처음부터 시작할 때도 VT가 CNN과 유사한 계층적 국소-전역 표현을 학습할 수 있도록 한다.

제안 방법

• VT가 감독 레이블과 함께 경량 CNN의 특징을 모방하도록 하는 이중 과제 학습 프레임워크를 도입한다.
• 동일한 데이터셋의 저해상도 이미지에서 훈련된 CNN의 은닉층 특징과 VT의 특징을 정렬함으로써 지식 distillation을 적용한다.
• 채널 차원을 보정하기 위해 학습 가능한 선형 투영을 사용하여 CNN과 VT 특징 간의 효과적인 특징 distillation을 가능하게 한다.
• 하이퍼파rameter β를 통해 특징 모방 손실과 자기지도 학습 손실의 균형을 조절함으로써 VT가 유도된 국소성과 작업에 특화된 표현을 동시에 학습할 수 있도록 한다.
• CNN의 여러 레이어에서 지도 위치를 선택하며, 모든 특징을 사용할 경우 성능이 최고로 높아지며(R = 1.0), 이는 계층적 특징 정렬이 중요하다는 것을 반영한다.
• ResNet-20, -56, -110 등 경량 CNN(예: ResNet)을 지도 모델로 사용하며, 모델 복잡도가 성능 향상에 미치는 영향이 미미함을 확인한다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련 없이도 경량 CNN의 국소성 가이던스가 작고 제한된 데이터셋에서 비전 트랜스포머 성능을 향상시킬 수 있는가?
• RQ2 지시 위치 선택 및 특징 레이어 선택이 VT 성능 향상에 어떤 영향을 미치는가?
• RQ3 이중 과제 학습 프레임워크에서 특징 모방 손실과 자기지도 학습 손실 간 최적의 균형은 무엇인가?
• RQ4 지시 CNN의 복잡도가 VT의 성능 향상에 상당한 영향을 미치는가?
• RQ5 제안된 방법은 다양한 VT 아키텍처와 데이터셋, 특히 의료 영상과 같은 분야에 일반화 가능한가?

주요 결과

• 훈련을 처음부터 시작할 때 DeiT 성능은 13.07% 향상되었고, T2T-ViT는 8.98%, PVT는 7.85% 향상되었다.
• 더 강력한 기준 모델인 PVTv2도 1.86% 향상되어 CIFAR-100에서 79.30%의 top-1 정확도를 달성했다.
• 모든 CNN 특징을 사용할 경우(R = 1.0) 성능이 가장 높았으며, 이는 전체 계층적 특징 정렬이 핵심임을 시사한다.
• 최적의 β 값은 중간 범위 내에 위치해 있으며(예: β = 2.0–2.5), 특징 모방이 강력하지만 지나치게 강하지 않다.
• 채널 정렬을 위한 학습 가능한 선형 투영이 Attention 및 Similarity와 같은 고정 방법보다 우수했으며, 이로 인해 최대 77.29%의 top-1 정확도 향상을 달성했다.
• 다양한 CNN 복잡도에서 성능 향상이 유사하게 유지되었으며, ResNet-110을 사용한 경우에도 VT에서 76.62%의 정확도를 기록하여 경량 지도 모델이 충분함을 보여준다.