[논문 리뷰] AutoMix: Unveiling the Power of Mixup for Stronger Classifiers

Zicheng Liu, Siyuan Li외 5명|arXiv (Cornell University)|2021. 03. 24.

Advanced Neural Network Applications인용 수 4

한 줄 요약

AutoMix는 이미지 분류 성능 향상을 위해 적응형 믹스업 정책을 자동으로 학습하는 엔드 투 엔드, 이중 최적화 프레임워크를 제안한다. 가용성 블록과 모멘텀 파이프라인을 통해 혼합 샘플 생성과 분류를 분리함으로써, 최소한의 계산 오버헤드로 9개의 벤치마크에서 최신 기술 수준의 정확도를 달성하며, 이전의 수작업으로 구성된 또는 최적화 기반 믹스업 방법들을 능가한다.

ABSTRACT

Data mixing augmentation have proved to be effective in improving the generalization ability of deep neural networks. While early methods mix samples by hand-crafted policies (e.g., linear interpolation), recent methods utilize saliency information to match the mixed samples and labels via complex offline optimization. However, there arises a trade-off between precise mixing policies and optimization complexity. To address this challenge, we propose a novel automatic mixup (AutoMix) framework, where the mixup policy is parameterized and serves the ultimate classification goal directly. Specifically, AutoMix reformulates the mixup classification into two sub-tasks (i.e., mixed sample generation and mixup classification) with corresponding sub-networks and solves them in a bi-level optimization framework. For the generation, a learnable lightweight mixup generator, Mix Block, is designed to generate mixed samples by modeling patch-wise relationships under the direct supervision of the corresponding mixed labels. To prevent the degradation and instability of bi-level optimization, we further introduce a momentum pipeline to train AutoMix in an end-to-end manner. Extensive experiments on nine image benchmarks prove the superiority of AutoMix compared with state-of-the-art in various classification scenarios and downstream tasks.

연구 동기 및 목표

• 믹스업 데이터 증강에서 정밀한 혼합 정책와 높은 최적화 복잡도 사이의 상충 관계를 해결하기 위해.
• 혼합 샘플 생성과 분류를 단일 엔드 투 엔드 학습 가능한 프레임워크로 통합하기 위해.
• 생성 및 분류 서브넷의 학습을 분리함으로써 모델의 일반화 및 안정성을 향상시키기 위해.
• 수작업으로 구성된 또는 시각적 중요도 기반 혼합 전략에 의존하는 것을 없애고, 학습 가능한, 작업 중심의 정책으로 대체하기 위해.
• 추론 비용을 증가시키지 않으면서 다양한 데이터셋과 네트워크 아키텍처에서 뛰어난 성능을 달성하기 위해.

제안 방법

• AutoMix는 믹스업 학습을 두 가지 하위 작업으로 재구성한다: 혼합 샘플 생성과 믹스업 분류로, 이는 이중 최적화 프레임워크를 통해 해결된다.
• 가용성 블록이라 불리는 학습 가능한 경량 모듈이 쌍의 입력 특징 맵에 대한 크로스 어텐션을 사용하여 패치 수준의 관계를 모델링함으로써 혼합 샘플을 생성한다.
• 혼합 레이블에 대한 직접적인 지도 학습을 통해 가용성 블록을 훈련시켜 분류 목표와의 일치를 보장한다.
• 이중 최적화를 분리하고 안정화하기 위해 모멘텀 파이프라인이 도입되었으며, 기울기의 얽힘과 모델 붕괴를 방지한다.
• 가용성 블록과 분류 헤드를 동시에 최적화하며, 제어를 위해 초수인자 α (베타 분포)와 특징 레이어 l을 사용한다.
• 조합 최적화와 같은 고비용 방법을 피하기 위해, 믹스업 정책을 직접 분류 손실 향해 최적화한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드로 학습 가능한 믹스업 정책이 정확도와 효율성 측면에서 수작업 또는 시각적 중요도 기반 믹스업 방법들을 능가할 수 있는가?
• RQ2 혼합 샘플 생성을 분류 학습에서 효과적으로 분리하여 안정성과 성능을 향상시킬 수 있는가?
• RQ3 다양한 특징 레이어와 혼합 비율 분포는 AutoMix의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 제안된 모멘텀 파이프라인이 생성 및 분류 작업의 이중 최적화를 효과적으로 안정화할 수 있는가?
• RQ5 AutoMix는 비전 트랜스포머와 ResNets를 포함한 다양한 데이터셋과 네트워크 아키텍처로 일반화되는가?

주요 결과

• AutoMix는 CIFAR-10/100, Tiny-ImageNet, ImageNet-1k, CUB-200, FGVC-Aircraft, iNaturalist2017/2018, Places205를 포함한 9개의 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• ImageNet-1k에서 AutoMix는 ResNet-18를 사용해 CutMix보다 최대 1.2% 높은 정확도를 기록했으며, PuzzleMix보다 0.8% 높았다.
• ResNet-50를 사용할 경우, AutoMix는 Tiny-ImageNet에서 70.72%의 top-1 정확도를 달성하여, MixUp(63.86%)와 CutMix(66.36%)를 모두 앞섰다.
• 제거 분석 결과, α=2와 특징 레이어 l₃가 정확도와 복잡도 사이의 최적의 균형을 이룹니다.
• PuzzleMix와 같은 조합 최적화 기반 방법 대비 최대 70%의 훈련 시간을 단축시키면서도 더 높은 정확도를 유지한다.
• 모멘텀 파이프라인이 훈련 안정성을 크게 향상시켜 가용성 블록이 단순한 해답으로 붕괴되는 것을 방지한다.