[논문 리뷰] SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data

Shaoli Huang, Xinchao Wang외 1명|arXiv (Cornell University)|2020. 12. 09.

Advanced Neural Network Applications참고 문헌 35인용 수 8

한 줄 요약

SnapMix는 세분적 이미지 인식을 위한 새로운 데이터 증강 방법을 제안하며, 클래스 활성화 맵(CAMs)을 사용하여 의미적 조합을 추정함으로써 레이블 노이즈를 감소시킨다. 픽셀 기반 혼합 방식과 달리, 영역 비율이 아닌 의미적 관련성에 기반해 레이블 비율을 계산하여, 다양한 데이터셋과 네트워크 깊이(ResNet 및 DenseNet 아키텍처 포함)에서 기존 방법들을 일관되게 능가한다.

ABSTRACT

Data mixing augmentation has proved effective in training deep models. Recent methods mix labels mainly based on the mixture proportion of image pixels. As the main discriminative information of a fine-grained image usually resides in subtle regions, methods along this line are prone to heavy label noise in fine-grained recognition. We propose in this paper a novel scheme, termed as Semantically Proportional Mixing (SnapMix), which exploits class activation map (CAM) to lessen the label noise in augmenting fine-grained data. SnapMix generates the target label for a mixed image by estimating its intrinsic semantic composition, and allows for asymmetric mixing operations and ensures semantic correspondence between synthetic images and target labels. Experiments show that our method consistently outperforms existing mixed-based approaches on various datasets and under different network depths. Furthermore, by incorporating the mid-level features, the proposed SnapMix achieves top-level performance, demonstrating its potential to serve as a solid baseline for fine-grained recognition. Our code is available at https://github.com/Shaoli-Huang/SnapMix.git.

연구 동기 및 목표

• 세분적 인식에 적용될 때 기존 데이터 혼합 방법에서 심각한 레이블 노이즈 문제가 발생하는 문제를 해결하기 위해.
• 합성 이미지와 그 레이블 간의 의미적 대응을 보장함으로써 데이터 증강의 효과를 향상시키기 위해.
• 다양한 증강을 가능하게 하면서도 레이블 일관성을 유지하는 비대칭 혼합 작업을 가능하게 하기 위해.
• 얕은 네트워크에서도 잘 작동하는 강력하고 일반적인 기초 모델을 개발하기 위해.

제안 방법

• 각 픽셀이 예측된 클래스에 대해 의미적으로 얼마나 관련이 있는지 추정하기 위해 클래스 활성화 맵(CAMs)을 사용한다.
• CAMs를 정규화하여 각 픽셀의 값이 해당 클래스에 대한 상대적 기여도를 나타내는 의미적 백분율 지도(SPM)로 변환한다.
• 지역의 SPM 값의 합을 통해 해당 영역의 의미적 비율을 계산하여 내재된 의미적 조합을 파악한다.
• 픽셀 영역 비율이 아닌 의미적 비율에 기반해 혼합 이미지의 레이블을 생성함으로써 실제 의미적 내용과 더 잘 일치하도록 보장한다.
• 이미지 혼합과 레이블 혼합을 분리함으로써 비대칭 컷 앤 페이스트 혼합을 지원하여 다양한 증강을 가능하게 한다.
• 혼합을 위한 무작위 패치를 샘플링하기 위해 하이퍼파rameter α를 사용한 베타 분포를 활용하며, 실험 결과 α의 변동에 대해 높은 안정성을 보였다.

실험 결과

연구 질문

• RQ1 CAMs를 통한 의미적 조합 추정이 세분적 인식에서 혼합 데이터의 레이블 노이즈를 줄일 수 있는가?
• RQ2 의미적 비율 기반 혼합이 영역 기반 혼합보다 모델 정확도와 일반화 능력 측면에서 더 우수한가?
• RQ3 비대칭 혼합 작업은 레이블 일관성을 해치지 않으면서 데이터 다양성을 향상시킬 수 있는가?
• RQ4 ImageNet 사전학습 없이 초기화하여 훈련할 경우 SnapMix의 성능는 어떻게 되는가?
• RQ5 제안된 방법은 다양한 CNN 아키텍처와 하이퍼파rameter 설정에 대해 안정적인가?

주요 결과

• ResNet-18을 사용해 CUB에서 훈련을 처음부터 수행할 경우, SnapMix는 70.31%의 Top-1 정확도를 기록하여 CutMix(60.03%)와 MixUp(67.63%)를 모두 능가한다.
• CUB 데이터셋에서 SnapMix는 ResNet-50의 정확도를 기준선인 66.92%에서 72.39%로 향상시켜 CutMix와 MixUp를 초월한다.
• InceptionV3를 사용할 경우, SnapMix는 85.54%의 정확도를 기록하여 CutMix(84.31%)와 MixUp(83.83%)를 모두 뛰어넘는다.
• DenseNet121에서 SnapMix는 87.42%의 정확도를 달성하며, CutMix(86.11%)와 MixUp(86.65%)에 비해 뚜렷한 향상을 보인다.
• 하이퍼파rameter α에 대해 높은 안정성을 보이며, 테스트된 값들 사이에서 정확도가 87.37% 주변에서 ±0.5% 이내로만 변동한다.
• 제거 실험 결과, 의미적 비율 기반 레이블 혼합이 성능 향상의 주요 기여 요소이며, 비대칭 혼합은 소량이지만 일관된 성능 향상을 제공한다.