[논문 리뷰] FASA: Feature Augmentation and Sampling Adaptation for Long-Tailed Instance Segmentation

Yuhang Zang, Chen Huang외 1명|arXiv (Cornell University)|2021. 02. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 6

한 줄 요약

FASA는 장꼬리(instance segmentation)에서의 성능 저하를 개선하기 위한 플러그 앤 플레이 방법으로, 가상의 특징을 적응적으로 증강하고 손실 지도 샘플링을 통해 희귀 클래스 성능을 향상시킨다. LVIS v1.0에서 훈련 시간이 3% 증가하는 데 그치지만 희귀 클래스에서 마스크 AP를 9.0% 향상시켜, 복잡한 손실 설계나 전이 학습에 의존하지 않으면서도 최신 기술을 초월한다.

ABSTRACT

Recent methods for long-tailed instance segmentation still struggle on rare object classes with few training data. We propose a simple yet effective method, Feature Augmentation and Sampling Adaptation (FASA), that addresses the data scarcity issue by augmenting the feature space especially for rare classes. Both the Feature Augmentation (FA) and feature sampling components are adaptive to the actual training status -- FA is informed by the feature mean and variance of observed real samples from past iterations, and we sample the generated virtual features in a loss-adapted manner to avoid over-fitting. FASA does not require any elaborate loss design, and removes the need for inter-class transfer learning that often involves large cost and manually-defined head/tail class groups. We show FASA is a fast, generic method that can be easily plugged into standard or long-tailed segmentation frameworks, with consistent performance gains and little added cost. FASA is also applicable to other tasks like long-tailed classification with state-of-the-art performance.

연구 동기 및 목표

• 장꼬리 인스턴스 세그멘테이션에서 희귀 객체 클래스에 대한 딥 모델의 성능 저하 문제를 해결한다.
• 복잡한 손실 설계나 클래스 간 전이 학습에 의존하지 않고도 희귀 클래스의 데이터 부족 문제를 해결한다.
• 기존 세그멘테이션 프레임워크에 쉽게 통합할 수 있는 일반적이고 효율적인 방법을 개발한다.
• 다양한 백본, 데이터 샘플러, 손실 함수에서 일관된 성능 향상을 보장한다.
• 이미지 분류와 같은 다른 장꼬리 작업으로의 일반화 능력을 입증한다.

제안 방법

• 과거 반복에서의 실제 특징 통계를 기반으로 한 분포 사전 지식을 활용해 클래스별로 가상의 특징을 생성함으로써 온라인 특징 증강을 수행한다.
• 관측된 실제 샘플의 평균과 분산을 계산하여 클래스별 특징 분포를 적응적으로 모델링한다.
• 손실 적응형 샘플링을 적용: 가상 특징이 검증 손실을 향상시킬 경우 샘플링 확률을 높이고, 그렇지 않으면 낮춰 과적합을 방지한다.
• 실제 데이터나 모델 아키텍처를 변경하지 않고도 가상 특징만을 대상으로 운영함으로써 단순성을 유지한다.
• 기존의 리샘플링 또는 손실 전략과 관계없이 어떤 방법과도 원활하게 통합될 수 있는 플러그 앤 플레이 설계를 사용한다.
• 모델 성능 피드백에 기반해 샘플링 밀도를 동적으로 조정함으로써 강인성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 특징 증강만으로도 장꼬리 인스턴스 세그멘테이션에서 희귀 클래스의 성능을 크게 향상시킬 수 있는가?
• RQ2 훈련 중에 가상 특징 샘플링을 어떻게 적응적으로 조정하여 과적합을 방지하면서도 희귀 클래스 성능을 향상시킬 수 있는가?
• RQ3 간단하고 일반적인 방법이 장꼬리 인스턴스 세그멘테이션에서 복잡한 작업 특화 손실 설계를 능가할 수 있는가?
• RQ4 제안된 방법은 인스턴스 세그멘테이션을 넘어서 다른 장꼬리 비전 작업으로 일반화될 수 있는가?
• RQ5 최신 기술 대비 이러한 방법의 훈련 효율성 비용은 얼마인가?

주요 결과

• FASA는 LVIS v1.0에서 Mask R-CNN의 희귀 클래스 마스크 AP를 9.0% 향상시키고 전체 마스크 AP도 3.3% 향상시켰으며, 훈련 시간은 3% 증가에 그쳤다.
• COCO-LT에서 FASA는 전체 마스크 AP 23.4%를 기록하여 이전 최고 성능인 SimCal을 1.6% 초월했고, 희귀 클래스에서는 13.5% 향상시켰다.
• LVIS v1.0에서 최근 손실 기반 방법(EQL)의 성능을 희귀 클래스에서 10.3% 향상시키고 전체적으로는 2.3% 향상시켰다.
• CIFAR-LT-100에서 FASA는 De-confound-TDE와 함께 45.2%의 top-1 정확도를 기록하여 기준 모델보다 1.1% 높였고, M2M 및 Chu et al. 방법을 모두 능가했다.
• FASA는 사전 훈련 단계를 피하고 온라인으로 작동하므로 M2M 및 Chu et al.보다 시간 효율성이 뛰어나다.
• 이 방법은 다양한 백본, 학습 스케줄, 데이터 샘플링 전략에서 일관된 성능 향상을 보이며, 잘 일반화된다.