[논문 리뷰] Affinity and Diversity: Quantifying Mechanisms of Data Augmentation

Raphael Gontijo-Lopes, Sylvia Smullin외 2명|arXiv (Cornell University)|2020. 02. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 53

한 줄 요약

본 논문은 모델 인지 지표로서 Affinity와 Diversity를 도입하여 데이터 증강이 일반화에 미치는 영향을 정량화하고, 최적의 증강은 두 지표를 균형 있게 이용하며 유효 학습 데이터 크기를 증가시킨다고 보이며, 학습 중간에 증강을 끄는 것도 성능을 더욱 향상시킬 수 있음을 보인다.

ABSTRACT

Though data augmentation has become a standard component of deep neural network training, the underlying mechanism behind the effectiveness of these techniques remains poorly understood. In practice, augmentation policies are often chosen using heuristics of either distribution shift or augmentation diversity. Inspired by these, we seek to quantify how data augmentation improves model generalization. To this end, we introduce interpretable and easy-to-compute measures: Affinity and Diversity. We find that augmentation performance is predicted not by either of these alone but by jointly optimizing the two.

연구 동기 및 목표

• 데이터 증강이 분포 변화 휴리스틱을 넘어 일반화 향상에 어떤 역할을 하는지 이해할 필요성을 제시한다.
• 증강 효과를 정량화하기 위한 해석 가능한 지표(Affinity와 Diversity)를 제안한다.
• CIFAR-10과 ImageNet에서 대규모 증강 집합을 평가하여 이 지표들과 성능의 관계를 규명한다.
• Affinity와 Diversity를 결합했을 때 단일 지표보다 증강 이점의 설명력이 가장 크다는 것을 보인다.
• 증강 스케줄링의 역할과 그것이 정규화 효과와 어떤 관계가 있는지 조사한다.

제안 방법

• Affinity를 증강된 검증 데이터에 대해 테스트했을 때의 정확도와 깨끗한 검증 데이터로 테스트했을 때의 정확도 차이로 정의한다.
• Diversity를 훈련 데이터의 확률적 증강 하에서의 기대 훈련 손실로 정의한다.
• 동적 증강 및 단일 변환 기반선으로 CIFAR-10에서 204개 증강, ImageNet에서 223개 증강의 대규모 실험을 수행한다.
• 최종 테스트 정확도를 예측하기 위해 Affinity–Diversity 평면에 대한 증강 성능을 비교한다.
• 학습 중간에 증강을 끄는 효과(Switch-off Lift)를 분석하여 학습 속도를 높이고 최종 정확도를 개선한다.

실험 결과

연구 질문

• RQ1 Affinity와 Diversity가 각각 증강으로 인한 성능 향상과 어떻게 관련되는가?
• RQ2 증강은 Affinity와 Diversity를 함께 최적화할 때 가장 잘 작동하는가?
• RQ3 학습 도중에 증강을 끄는 것이 최종 성능을 개선할 수 있는가, 어떤 조건에서인가?
• RQ4 데이터 세트 전반에서 증강 이익에 필요한 것은 증가한 유효 학습 세트 크기(다양성)인가?
• RQ5 정적 증강과 동적 증강은 성능과 다양성에 어떤 영향을 미치는가?],
• RQ6 key_findings([

주요 결과

• 성능은 Affinity나 Diversity만으로 결정되지 않으며, 최적의 증강 정책은 두 지표를 함께 최대화하는 데 있다.
• 다양성이 높을수록 고정된 Affinity에서 일반적으로 정확도가 더 높고, 특정 Diversity에서 더 높은 Affinity가 성능을 돕는 경향이 있다.
• 증강의 이점은 고유한 학습 예시의 총 수를 늘리는 것과 관련이 있으며, 정적 증강은 동적 증강에 비해 성능이 떨어진다.
• 학습 중에 증강을 끄면 ‘Switch-off Lift’를 낳아 때로는 깨끗한 기준치를 넘기도 한다.
• 증강의 이점은 다른 정규화와 유사한 특징을 가지며, 정규화를 중지하는 타이밍이 학습을 가속하고 최종 정확도를 개선할 수 있다.
• CIFAR-10 및 ImageNet 전반에 걸쳐 Affinity와 Diversity의 조합이 어느 한 지표보다 증강 유용성에 대한 더 명확한 예측을 제공한다.