[논문 리뷰] Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup

Siyuan Li, Zicheng Liu외 4명|arXiv (Cornell University)|2021. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 13

한 줄 요약

이 논문은 감독 학습 및 자기지도 학습 시각 표현 학습을 위한 통합 프레임워크인 시나리오 무관 믹스업(SAMix)을 제안한다. 이는 새로운 $η$-균형 손실과 레이블이 없는 믹서 네트워크를 통해 믹스업 생성을 향상시킨다. 국소적 부드러움과 전반적 구분 능력을 함께 최적화함으로써 고품질의 비자명한 혼합 샘플을 생성하며, 9개의 SL 및 SSL 벤치마크에서 일관된 성능 향상을 이룩하여 일반화 능력과 효율성이 향상된다.

ABSTRACT

Mixup is a well-known data-dependent augmentation technique for DNNs, consisting of two sub-tasks: mixup generation and classification. However, the recent dominant online training method confines mixup to supervised learning (SL), and the objective of the generation sub-task is limited to selected sample pairs instead of the whole data manifold, which might cause trivial solutions. To overcome such limitations, we comprehensively study the objective of mixup generation and propose extbf{S}cenario- extbf{A}gnostic extbf{Mix}up (SAMix) for both SL and Self-supervised Learning (SSL) scenarios. Specifically, we hypothesize and verify the objective function of mixup generation as optimizing local smoothness between two mixed classes subject to global discrimination from other classes. Accordingly, we propose $η$-balanced mixup loss for complementary learning of the two sub-objectives. Meanwhile, a label-free generation sub-network is designed, which effectively provides non-trivial mixup samples and improves transferable abilities. Moreover, to reduce the computational cost of online training, we further introduce a pre-trained version, SAMix$^\mathcal{P}$, achieving more favorable efficiency and generalizability. Extensive experiments on nine SL and SSL benchmarks demonstrate the consistent superiority and versatility of SAMix compared with existing methods.

연구 동기 및 목표

• 기존 온라인 믹스업 방법가 지나치게 국소적 샘플 쌍에 집중된 제한된 생성 목표로 인해 자명한 해를 생성하는 데에 초점을 맞춘 문제를 해결하기 위해.
• 혼합된 클래스 간 국소적 부드러움과 다른 클래스들에 대한 전반적 구분 능력을 균형 잡는 통합 믹스업 생성 목표를 설계하기 위해.
• 자기지도 학습(SSL) 시나리오에서 더 넓은 적용 가능성을 확보하기 위해 믹스업 생성에서 레이블 의존성을 제거하기 위해.
• 하류 작업을 위한 사전 훈련된 변형인 SAMix P 를 도입하여 계산 효율성과 전이 가능성을 향상시키기 위해.
• 감독 학습 및 자기지도 학습 모두에서 온라인 및 사전 훈련된 훈련 파이프라인을 통합하여 일관된 성능 향상을 달성하기 위해.

제안 방법

• 국소적 부드러움(두 혼합 클래스 간)과 전반적 구분 능력(모든 다른 클래스로부터)을 명시적으로 균형 잡는 $η$-균형 믹스업 손실을 제안한다.
• 클래스 레이블이 필요 없이 다양한 비자명한 혼합 샘플을 생성하기 위해 믹싱 어텐션과 비선형 콘텐츠 모델링을 갖춘 레이블이 없는 믹서 네트워크를 도입한다.
• SL 및 SSL 작업을 위한 온라인 및 사전 훈련된 훈련 파이프라인을 모두 지원하는 시나리오 무관 프레임워크인 SAMix 를 설계한다.
• 고정된 믹서를 사용하여 훈련을 가속화하면서도 높은 성능와 일반화 능력을 유지하는 사전 훈련된 버전인 SAMix P 를 활용한다.
• 특징 맵과 학습 가능한 혼합 비율을 활용하여 잠재 공간에서 엔드 투 엔드로 적응형 믹스업 생성을 가능하게 한다.
• 표현 학습 목표에 믹스업을 통합하여 감독 학습 및 대비 자기지도 학습 모두에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 국소적 부드러움과 전반적 구분 능력을 함께 최적화할 수 있는 믹스업 생성 목표를 설계할 수 있는가? 이는 표현 학습을 향상시키는 데 기여하는가?
• RQ2 레이블이 없는, 학습 가능한 믹스업 생성기의 경우 자명한 해를 피하고 감독 학습 및 자기지도 학습 시나리오 전반에 걸쳐 일반화할 수 있는가?
• RQ3 통합된 시나리오 무관 믹스업 프레임워크는 감독 학습 및 자기지도 학습 비전 작업 전반에서 성능과 효율성을 얼마나 향상시키는가?
• RQ4 사전 훈련된 믹스업 생성기는 하류 작업에서 계산 비용을 줄이고도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 제안된 $η$-균형 손실이 믹스업 생성에서 국소적 및 전반적 목표 간의 트레이드오프를 효과적으로 균형 잡는가?

주요 결과

• SAMix 는 다양한 SL 및 SSL 벤치마크 9개에서 일관된 성능 향상을 보이며, 다양한 작업과 모델 간 강력한 일반화 능력을 입증한다.
• 제안된 $η$-균형 손실은 국소적 부드러움과 전반적 구분 능력을 균형 잡음으로써 믹스업 생성을 크게 향상시키며, 더 나은 표현 학습을 이끈다.
• 레이블이 없는 믹서 네트워크는 자명한 해를 효과적으로 피하고 클래스 레이블 없이도 고품질의 의미적으로 유의미한 혼합 샘플을 생성한다.
• 사전 훈련된 변형인 SAMix P 는 분류 작업에서 SAMix 와 경쟁하거나 略 높은 정확도를 달성하면서도 훨씬 뛰어난 효율성과 전이 가능성을 제공한다.
• 시각화 결과는 SAMix 가 기존 방법들인 PuzzleMix 및 AutoMix 와 비교해 더 의미적으로 일관되고 세밀한 혼합 샘플을 생성하는 것으로 나타났다.
• 광범위한 추상화 분석을 통해 $η$-균형 손실과 레이블이 없는 믹서의 효과성이 다양한 데이터셋과 아키텍처 전반에서 하류 성능 향상에 기여하는 것으로 확인되었다.