[논문 리뷰] LCReg: Long-Tailed Image Classification with Latent Categories based Recognition

Weide Liu, Zhonghua Wu외 5명|arXiv (Cornell University)|2023. 09. 13.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

LCReg는 헤드 클래스와 테일 클래스 간에 공유되는 클래스에 종속되지 않은 잠재 특징을 학습하여 장기적 분포 이미지 분류 문제를 해결하며, 잠재 공간에서 의미적 데이터 증강을 통해 특징의 다양성과 표현력을 향상시킵니다. 이 방법은 다섯 개인 장기적 분포 벤치마크에서 최신 기준(SOTA) 성능을 달성하여 기존 베이스라인을 크게 능가합니다.

ABSTRACT

In this work, we tackle the challenging problem of long-tailed image recognition. Previous long-tailed recognition approaches mainly focus on data augmentation or re-balancing strategies for the tail classes to give them more attention during model training. However, these methods are limited by the small number of training images for the tail classes, which results in poor feature representations. To address this issue, we propose the Latent Categories based long-tail Recognition (LCReg) method. Our hypothesis is that common latent features shared by head and tail classes can be used to improve feature representation. Specifically, we learn a set of class-agnostic latent features shared by both head and tail classes, and then use semantic data augmentation on the latent features to implicitly increase the diversity of the training sample. We conduct extensive experiments on five long-tailed image recognition datasets, and the results show that our proposed method significantly improves the baselines.

연구 동기 및 목표

• 부족한 훈련 샘플로 인해 테일 클래스의 특징 표현이 열악한 문제를 해결하기 위해.
• 기존의 데이터 증강 및 재균형 전략이 테일 클래스의 특징 다양성을 증가시키지 못하는 한계를 극복하기 위해.
• 헤드 클래스와 테일 클래스 간의 공통적인 구조적 및 의미적 특징(예: 동물의 다리)을 활용하여 일반화 능력을 향상시키기 위해.
• 클래스 불균형에 영향을 받지 않고 효과적인 데이터 증강이 가능한 강력한 클래스에 종속되지 않은 잠재 특징 공간을 개발하기 위해.
• 잠재 의미 증강과 복원 손실을 통해 장기적 분포 데이터셋에서 모델의 일반화 능력과 성능을 향상시키기 위해

제안 방법

• 모든 클래스 간에 공유되는 객체 부분(예: 다리, 머리)을 포괄하는 클래스에 종속되지 않은 잠재 특징 풀을 도입하며, 역전파를 통해 학습합니다.
• 유사도 가중 합을 사용해 잠재 특징의 조합으로 원본 이미지 특징을 복원하며, 의미 있는 표현을 보장하기 위해 복원 손실을 적용합니다.
• 다변량 정규분포에서 유도된 클래스별 변형을 사용해 잠재 특징에 의미적 데이터 증강을 적용합니다.
• 교차 엔트로피, 복원 손실, 잠재 증강 손실을 조합한 가중 손실 함수를 사용해 특징 학습과 일반화를 동시에 최적화합니다.
• 공유된 객체 부분에서 유도된 의미적 방향으로 잠재 특징을 변형함으로써 잠재 공간에서 증강을 수행하며, 원본 이미지 데이터에 의존하지 않고 다양성을 증가시킵니다.
• 균형 잡힌 잠재 공간을 사용해 종합적으로 훈련하며, 특징 학습을 클래스별 데이터 부족 문제에서 분리합니다.

실험 결과

연구 질문

• RQ1 헤드 클래스와 테일 클래스 간에 공유되는 잠재 특징이 장기적 분포 이미지 분류에서 표현 학습을 향상시킬 수 있는가?
• RQ2 원본 이미지 공간이 아닌 잠재 공간에서 특징을 증강하는 것이 불균형 데이터셋에서 더 나은 성능을 내는가?
• RQ3 클래스에 종속되지 않은 잠재 특징의 사용이 모델의 일반화 능력과 장기적 분포 데이터에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 잠재 의미 증강이 기존의 데이터 증강 및 재균형 방법보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ5 손실 가중치 및 잠재 특징 차원 수와 같은 하이퍼파rameter 설정에 대해 제안된 방법이 얼마나 민감한가?

주요 결과

• LCReg는 다섯 개인 장기적 분포 벤치마크에서 최신 기준(top-1 정확도)을 달성했습니다: CIFAR-10-LT(불균형 비율 100일 때 91.0%), CIFAR-100-LT(100일 때 64.1%), ImageNet-LT, iNaturalist 2018, Places-LT.
• 기존의 베이스라인 대비 CIFAR-10-LT에서 최대 3.0% 향상되고, CIFAR-100-LT에서는 4.0% 향상되어 기존 접근 방식에 비해 뚜렷한 성능 향상을 보였습니다.
• 잠재 특징 증강($L_{Aug}$)은 원본 특징에 직접 ISDA를 적용하는 것보다 성능이 뛰어나며, CIFAR-10-LT(불균형 비율 100)에서 82.5% 대비 79.8%를 기록했습니다.
• 제안된 방법은 하이퍼파rameter 설정에 대해 매우 강건하여, $eta$, $eta$, $eta$의 다양한 값에서도 성능 저하가 최소에 그치며 안정적이고 탄력적인 최적화를 보였습니다.
• KL 발산 분석 결과, 잠재 특징가 클래스 간 의미적 공통 구조를 잘 포착하고 있으며, 헤드 클래스와 테일 클래스의 표현 간 발산이 낮습니다.
• 절단 실험 결과, 복원 손실과 잠재 증강이 함께 성능 향상에 기여하며, 모든 구성 요소를 모두 사용했을 때 최고의 성능를 기록했습니다.