[논문 리뷰] Effective Vision Transformer Training: A Data-Centric Perspective

Benjia Zhou, Pichao Wang외 3명|arXiv (Cornell University)|2022. 09. 29.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 비전 트랜스포머(ViTs)를 위한 데이터 중심 학습 프레임워크를 제안하며, 학습의 세 단계인 형성, 성장, 탐색 단계에서 샘플의 어려움을 동적으로 조정함으로써 '효과적인' 학습 예제를 측정하고 생성합니다. 동적 MixUp 전략과 패치 수준의 삭제 방법(PatchErasing)을 도입하여 일반화 성능을 향상시켰으며, DeiT에서는 ≥0.5% 이상, Swin 트랜스포머에서는 ≥0.4% 이상의 일관된 정확도 향상을 달성했고, 학습 오버헤드는 최소한이었습니다.

ABSTRACT

Vision Transformers (ViTs) have shown promising performance compared with Convolutional Neural Networks (CNNs), but the training of ViTs is much harder than CNNs. In this paper, we define several metrics, including Dynamic Data Proportion (DDP) and Knowledge Assimilation Rate (KAR), to investigate the training process, and divide it into three periods accordingly: formation, growth and exploration. In particular, at the last stage of training, we observe that only a tiny portion of training examples is used to optimize the model. Given the data-hungry nature of ViTs, we thus ask a simple but important question: is it possible to provide abundant ``effective'' training examples at EVERY stage of training? To address this issue, we need to address two critical questions, \ie, how to measure the ``effectiveness'' of individual training examples, and how to systematically generate enough number of ``effective'' examples when they are running out. To answer the first question, we find that the ``difficulty'' of training samples can be adopted as an indicator to measure the ``effectiveness'' of training samples. To cope with the second question, we propose to dynamically adjust the ``difficulty'' distribution of the training data in these evolution stages. To achieve these two purposes, we propose a novel data-centric ViT training framework to dynamically measure the ``difficulty'' of training samples and generate ``effective'' samples for models at different training stages. Furthermore, to further enlarge the number of ``effective'' samples and alleviate the overfitting problem in the late training stage of ViTs, we propose a patch-level erasing strategy dubbed PatchErasing. Extensive experiments demonstrate the effectiveness of the proposed data-centric ViT training framework and techniques.

연구 동기 및 목표

• 대규모 데이터가 존재함에도 불구하고 ViT 학습이 최적의 성능을 내지 못하는 이유를 분석하고자 하며, 특히 후반 학습 단계에서 효과적인 예제가 부족한 이유를 밝히기 위함입니다.
• 형성, 성장, 탐색이라는 세 가지 명확한 학습 진화 단계가 존재하는지 확인하고 정량화하기 위함입니다.
• 후반 단계에서 효과적인 학습 예제의 부족을 해결하고자, 어려움을 측정함으로써 예제의 '효율성'을 평가하고 동적으로 고품질의 예제를 생성하기 위함입니다.
• 로컬 패치 토큰에 대한 과적합을 완화하기 위해 새로운 패치 수준의 삭제 전략(PatchErasing)을 통해 후반기 과적합을 줄이기 위함입니다.
• 모델 용량과 학습 단계에 따라 데이터 어려움을 영속적으로 조정할 수 있는 통합된 데이터 중심 프레임워크를 개발하기 위함입니다.

제안 방법

• 저자들은 동적으로 데이터 비율(DDP)과 지식 흡수 속도(KAR)를 정의하여 세 가지 학습 단계—형성(쉬운 샘플), 성장(중간 수준의 샘플), 탐색(어려운 샘플)—을 객관적으로 식별합니다.
• 샘플의 '효율성'은 '어려움'으로 측정되며, 어려운 샘플이 후반 단계에서 지식 흡수에 더 효과적이라고 간주합니다.
• 현재 학습 단계에 따라 데이터 어려움 분포를 조정할 수 있는 동적 MixUp 기법을 제안하여 효과적인 예제의 탄력적 생성을 가능하게 합니다.
• PatchErasing는 이미지 패치를 무작위로 삭제하고 해당 레이블 벡터를 정규화하여 국소 토큰에 대한 과적합을 줄이는 패치 수준의 데이터 증강 전략으로 도입됩니다.
• 대규모 모델(예: DeiT-B, Swin-B)에는 정적 어려움 스케줄링을 적용하고, 소규모 모델(예: DeiT-T, DeiT-S)에는 유연한 스케줄링을 적용하여 학습 능력과 국소 최적값 위험에 따라 동적 스케줄링을 수행합니다.
• 표준 ViT 학습에 통합되었으며, 계산 오버헤드는 최소한이었고, DeiT 및 Swin 트랜스포머 아키텍처 전반에서 일관된 성능 향상을 달성했습니다.

실험 결과

연구 질문

• RQ1 ViT 학습 과정은 데이터 활용도와 모델 학습 역학에 기반해 체계적으로 세 가지 진화 단계로 나눌 수 있는가?
• RQ2 특히 모델 용량과 학습 단계에 따라, 개별 학습 예제의 '효율성'은 어떻게 측정할 수 있는가?
• RQ3 학습 샘플의 어려움을 동적으로 조정하면, 특히 후반 탐색 단계에서 효과적인 예제의 수를 증가시킬 수 있는가?
• RQ4 패치 수준의 데이터 증강(PatchErasing)은 국소 이미지 패치에 대한 과적합을 줄이고 ViT의 일반화 성능을 향상시키는가?
• RQ5 통합된 데이터 중심 학습 프레임워크는 최소한의 학습 비용으로 다양한 모델 크기의 ViT 성능을 일관되게 향상시킬 수 있는가?

주요 결과

• ViT 학습 과정은 동적 데이터 비율(DDP)과 지식 흡수 속도(KAR)에 기반해 자연스럽게 세 단계—형성, 성장, 탐색—으로 나뉘며, 각각 다른 데이터 활용 패턴을 보입니다.
• 최종 탐색 단계에서는 최적화에 기여하는 학습 예제의 비율이 매우 작으며, 어려운 샘플과 중간 수준의 샘플만 기여하고, 쉬운 샘플은 대부분 무시되므로, 데이터 활용의 심각한 차질이 발생합니다.
• MixUp 기반의 동적 어려움 조정 전략은 DeiT-T에서 +0.4%, DeiT-S에서 +0.5%, DeiT-B에서 +0.5%의 성능 향상을 이끌었으며, 소규모 모델에서는 더 유연한 스케줄링 덕분에 더 좋은 성능을 기록했습니다.
• 50% 마스크 비율을 사용할 경우, PatchErasing는 대규모 모델(예: DeiT-B)에서 +0.4%의 성능 향상을 달성하여 패치 수준 과적합을 줄이는 데 효과적임을 입증했습니다.
• 이 프레임워크는 DeiT(글로벌 기반)와 Swin(로컬 기반) 트랜스포머 아키텍처 전반에서 일관되게 정확도를 향상시켰으며, DeiT에서는 ≥0.5%, Swin 트랜스포머에서는 ≥0.4%의 성능 향상을 기록했습니다.
• 시각화 결과, PatchErasing는 모델이 더 많은 객체 영역에 주의를 기울이게 하고, 몇몇 급격한 패치에 의존하는 것을 줄여 강건성을 향상시킴을 보여주었습니다.