[논문 리뷰] Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition

Hao Li, Xiaopeng Zhang외 2명|arXiv (Cornell University)|2020. 04. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 4

한 줄 요약

이 논문은 두 이미지의 분류적 특징을 특징 수준에서 혼합하는 것이 아니라, 특성 수준에서 혼합하는 의미적 데이터 증강 방법인 Attribute Mix를 제안한다. 이는 하위 카테고리 간 공유되는 특징를 자동으로 탐색하고, 정확한 레이블이 없는 일반 도메인 이미지(예: PASCAL VOC)를 활용함으로써 모델의 일반화 능력을 크게 향상시키며, 추론 비용을 증가시키지 않으면서 CUB-200-2011, Stanford Cars, FGVC-Aircraft에서 최신 기준 성능을 달성한다.

ABSTRACT

Collecting fine-grained labels usually requires expert-level domain knowledge and is prohibitive to scale up. In this paper, we propose Attribute Mix, a data augmentation strategy at attribute level to expand the fine-grained samples. The principle lies in that attribute features are shared among fine-grained sub-categories, and can be seamlessly transferred among images. Toward this goal, we propose an automatic attribute mining approach to discover attributes that belong to the same super-category, and Attribute Mix is operated by mixing semantically meaningful attribute features from two images. Attribute Mix is a simple but effective data augmentation strategy that can significantly improve the recognition performance without increasing the inference budgets. Furthermore, since attributes can be shared among images from the same super-category, we further enrich the training samples with attribute level labels using images from the generic domain. Experiments on widely used fine-grained benchmarks demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 미세 분류 인식에서 제한적이고 전문가가 레이블링한 훈련 데이터 문제를 해결하기 위해.
• 미세 분류의 저자료 환경에서 모델의 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• 서브 카테고리 간 이식 가능한 특성 특징을 활용하여 효과적인 데이터 증강을 가능하게 하기 위해.
• 기존 최신 기술 모델들과 호환 가능한 저비용, 일반적인 목적의 데이터 증강 프레임워크를 개발하기 위해.

제안 방법

• 자동으로 탐지된 분류적 영역 기반으로 두 이미지의 의미 있는 특성 특징을 혼합하는 데이터 증강 전략인 Attribute Mix를 제안한다.
• 다중 핫 특성 분류 네트워크에서 반복적인 마스킹 메커니즘을 도입하여 이미지 간 다양한 분류적 특징을 탐지한다.
• 엔트로피 랭킹을 사용하여 일반 도메인 이미지(예: PASCAL VOC)에서 특징을 탐색할 때 노이즈가 많은 샘플을 걸러내어 오류 또는 잘못된 레이블이 있는 데이터에 대한 강건성을 향상시킨다.
• 특성 융합 정도에 비례하여 특성 수준의 레이블을 혼합함으로써 증강된 샘플의 의미 일관성을 유지한다.
• '새' 또는 '자동차'와 같은 일반 레이블만 있는 이미지를 활용하여 훈련 데이터를 저비용으로 풍부하게 하는 Attribute Mix+로 방법을 확장한다.
• 구조적 변경 없이 S3N 및 MGE-CNN과 같은 최신 기술 모델과 결합하여 넓은 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 Mixup 및 CutMix와 같은 무작위 혼합 방법과 비교해 특성 수준에서 두 이미지의 특징을 혼합하는 것이 미세 분류 성능 향상에 기여하는가?
• RQ2 미세 분류 레이블이 필요 없이도 분류적 특징를 자동으로 탐지하고 데이터 증강에 활용할 수 있는가?
• RQ3 일반 도메인 이미지(오직 굵은 레이블만 있는 경우)에서 특징를 얼마나 효과적으로 이식하여 미세 분류 훈련 데이터를 향상시킬 수 있는가?
• RQ4 엔트로피 랭킹이 일반 데이터셋에서 특징를 탐색할 때 노이즈가 많은 또는 관련 없는 이미지를 효과적으로 걸러내는가?
• RQ5 Attribute Mix는 다양한 최신 기술 미세 분류 인식 모델에 대해 일반적으로 성능 향상에 기여하는가?

주요 결과

• CUB-200-2011에서 Attribute Mix는 88.4%의 top-1 정확도를 기록하여 Mixup(85.9%)과 CutMix(86.2%)보다 2.2점 이상 높게 성능을 냈다.
• Stanford Cars에서 Attribute Mix는 94.9%의 정확도를 달성하여 기준 모델보다 3.2점 높고, CutMix보다 2.6점 높았다.
• S3N와 결합했을 때, Attribute Mix는 Stanford Cars에서 95.2%의 정확도, FGVC-Aircraft에서 93.4%의 정확도를 기록하여 최신 기준 성능을 달성했다.
• Attribute Mix+는 일반 도메인 레이블만 사용함으로써 성능을 크게 향상시켰으며, PASCAL VOC 07+12에서 16.3%의 노이즈가 있는 이미지를 사용함에도 불구하고 강건성을 입증했다.
• 엔트로피 랭킹 메커니즘은 노이즈가 많은 샘플을 효과적으로 걸러내어 τ=1.5일 때 유지되는 이미지 수를 11,000개에서 1,833개로 줄였다.
• 이 방법은 추론 비용을 증가시키지 않으면서도 여러 벤치마크에서 성능 향상을 이끌어내어 효율성과 일반화 능력이 입증되었다.