[논문 리뷰] Improving Visual Prompt Tuning by Gaussian Neighborhood Minimization for Long-Tailed Visual Recognition

Mengke Li, Ye Liu외 4명|arXiv (Cornell University)|2024. 10. 28.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 장수형 시각적 인식에서 일반화를 향상시키기 위해 시각적 프롬프트 튜닝(VPT)를 위한 최적화 전략으로 가우시안 이웃 최소화 프롬프트 튜닝(GNM-PT)을 제안한다. 존재하는 방법보다 더 날카운데 있는 손실 분포에 대한 더 날카운데 있는 상한을 제공하는 가우시안 매개변수 이웃에서 평균 손실을 최소화함으로써, 손실 곡면을 평탄하게 하여 계산 비용을 증가시키지 않고 꼬리 클래스 성능을 향상시킨다. 이로 인해 CIFAR100-LT(불균형 비율 100), iNaturalist 2018, Places-LT에서 각각 90.3%, 76.5%, 50.1%의 최신 기술 수준(SoTA) 정확도를 달성한다.

ABSTRACT

Long-tail learning has garnered widespread attention and achieved significant progress in recent times. However, even with pre-trained prior knowledge, models still exhibit weaker generalization performance on tail classes. The promising Sharpness-Aware Minimization (SAM) can effectively improve the generalization capability of models by seeking out flat minima in the loss landscape, which, however, comes at the cost of doubling the computational time. Since the update rule of SAM necessitates two consecutive (non-parallelizable) forward and backpropagation at each step. To address this issue, we propose a novel method called Random SAM prompt tuning (RSAM-PT) to improve the model generalization, requiring only one-step gradient computation at each step. Specifically, we search for the gradient descent direction within a random neighborhood of the parameters during each gradient update. To amplify the impact of tail-class samples and avoid overfitting, we employ the deferred re-weight scheme to increase the significance of tail-class samples. The classification accuracy of long-tailed data can be significantly improved by the proposed RSAM-PT, particularly for tail classes. RSAM-PT achieves the state-of-the-art performance of 90.3\%, 76.5\%, and 50.1\% on benchmark datasets CIFAR100-LT (IF 100), iNaturalist 2018, and Places-LT, respectively. The source code is temporarily available at https://github.com/Keke921/GNM-PT.

연구 동기 및 목표

• 장수형 데이터셋에서 꼬리 클래스에서의 시각적 프롬프트 튜닝(VPT)의 열악한 일반화 문제를 해결한다.
• 손실 곡면을 평탄하게 하여, 특히 부족한 꼬리 클래스를 포함한 모든 클래스에서의 모델 일반화를 향상시킨다.
• 추가 기울기 계산을 피하면서도 성능을 유지하는 효율적인 최적화 전략을 개발한다.
• 장수형 학습에 특화된 이론적으로 탄탄한 SAM(Smoothness-Aware Minimization)의 대안을 제공한다.
• 비트 기반 모델에서 고수준 프롬프트 정보를 클래스 토큰과 통합하여 VPT 성능을 향상시킨다.

제안 방법

• 모델 매개변수의 무작위 가우시안 편향에 대한 기대 손실을 최소화하는 새로운 가우시안 이웃 손실(GNM)을 도입한다.
• 기울기 계산 없이 날카운데 있는 손실 추정을 위한 정규 분포에서의 무작위 샘플링을 사용하여 이웃 평균을 근사한다.
• SAM의 최대 기반 이웃 손실을 평균 기반 손실로 대체함으로써 진정한 손실 분포에 대한 더 날카운데 있는 상한을 제공한다.
• VPT 학습 중 GNM 손실을 적용하여 더 평탄한 최소값으로의 최적화를 이끌어내어 일반화 성능을 향상시킨다.
• 학습된 시각적 프롬프트를 클래스 토큰과 융합하여 ViT 기반 모델에서 분류 표현을 향상시킨다.
• 이 방법은 매개변수 효율적이며 계산적으로 경량이며, 표준 VPT를 초월해 추가 백프로파게이션을 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 SAM과 같은 최대 기반 접근 방식에 비해 평균 기반 이웃 손실이 진정한 손실 분포에 대해 더 날카운데 있는 상한을 제공할 수 있는가?
• RQ2 가우시안 매개변수 이웃에서 기대 손실을 최소화하는 것이 장수형 인식에서 더 평탄한 최소값과 향상된 일반화를 이끌 수 있는가?
• RQ3 GNM-PT는 계산 비용을 증가시키지 않고 꼬리 클래스에서의 VPT 성능을 향상시킬 수 있는가?
• RQ4 정확도와 헤드 및 꼬리 클래스 전반의 일반화 성능 측면에서 GNM-PT는 SAM 및 기타 최신 기술 방법과 비교해 어떻게 성능을 내는가?
• RQ5 프롬프트를 클래스 토큰과 통합하는 것이 장수형 환경에서 분류 성능 향상에 효과적인가?

주요 결과

• GNM-PT는 불균형 비율이 100인 CIFAR100-LT에서 90.3%의 최신 기술 수준 정확도를 달성하여 이전 방법들을 크게 능가한다.
• iNaturalist 2018에서 GNM-PT는 76.5%의 상위-1 정확도를 기록하여 세분화된 카테고리가 포함된 장수형 벤치마크에서 강력한 일반화 능력을 입증한다.
• Places-LT에서 GNM-PT는 50.1%의 정확도를 달성하여 극단적인 클래스 불균형 하에서의 세분화된 장수형 인식에서의 효과성을 입증한다.
• 모든 클래스에서 일반화 성능을 향상시키며 특히 꼬리 클래스에서 뚜렷한 성과 향상을 이끌어내지만, 계산 효율성은 유지한다.
• 절단 실험을 통해 GNM-PT가 학습 비용을 증가시키지 않으면서도 모델 성능을 향상시킴을 확인하여 효율성과 강건성을 검증한다.
• 이론적 분석은 평균 기반 이웃 손실이 최대 기반 대안보다 더 날카운데 있는 상한을 제공함을 입증하며, 이는 우수한 최적화 행동을 정당화한다.