[논문 리뷰] Harnessing Hard Mixed Samples with Decoupled Regularizer

Zicheng Liu, Siyuan Li외 4명|arXiv (Cornell University)|2022. 03. 21.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 정적 미크스업 방법을 향상시키기 위해 딱딱한 혼합 샘플(한 클래스의 두드러진 특징을 지니지만 레이블 가중치가 낮은 샘플)을 명시적으로 활용할 수 있도록 분리된 정규화 항을 도입한 새로운 미크스업 목적 함수인 Decoupled Mixup (DM)을 제안한다. 동적 미크스업 방법이 혼합 마스크 최적화에 비용이 많이 들기 때문에 이를 피하기 위해, DM은 추가적인 계산 없이도 최신 동적 방법과 유사하거나 더 뛰어난 성능을 달성하며, 결정 경계의 부드러움과 특징의 분류 능력 간의 균형을 손실 함수 재설계로 달성한다.

ABSTRACT

Mixup is an efficient data augmentation approach that improves the generalization of neural networks by smoothing the decision boundary with mixed data. Recently, dynamic mixup methods have improved previous static policies effectively (e.g., linear interpolation) by maximizing target-related salient regions in mixed samples, but excessive additional time costs are not acceptable. These additional computational overheads mainly come from optimizing the mixed samples according to the mixed labels. However, we found that the extra optimizing step may be redundant because label-mismatched mixed samples are informative hard mixed samples for deep models to localize discriminative features. In this paper, we thus are not trying to propose a more complicated dynamic mixup policy but rather an efficient mixup objective function with a decoupled regularizer named Decoupled Mixup (DM). The primary effect is that DM can adaptively utilize those hard mixed samples to mine discriminative features without losing the original smoothness of mixup. As a result, DM enables static mixup methods to achieve comparable or even exceed the performance of dynamic methods without any extra computation. This also leads to an interesting objective design problem for mixup training that we need to focus on both smoothing the decision boundaries and identifying discriminative features. Extensive experiments on supervised and semi-supervised learning benchmarks across seven datasets validate the effectiveness of DM as a plug-and-play module. Source code and models are available at https://github.com/Westlake-AI/openmixup

연구 동기 및 목표

• 혼합 마스크 최적화로 인해 높은 계산 비용이 발생하는 동적 미크스업 방법의 비효율성을 해결하기 위해.
• 표준 미크스업에서 레이블 불일치 경향이 있는 딱딱한 혼합 샘플(특정 클래스의 두드러진 특징을 지니지만 레이블 가중치가 낮은 샘플)이 충분히 활용되지 않는지 조사하기 위해.
• 정적 미크스업이 이러한 정보성 있는 딱딱한 샘플을 적응적으로 활용하면서 결정 경계의 부드러움을 유지할 수 있도록 새로운 손실 함수를 제안하기 위해.
• 성능 향상의 핵심이 복잡한 혼합 정책이 아니라 손실 함수의 개선, 즉 부드러움과 분류 능력 있는 특징 탐색 간의 균형을 이루는 데 있음을 입증하기 위해.
• 기존 정적 미크스업 프레임워크에 쉽게 통합할 수 있도록 DM을 감독 및 준감독 학습에 적용 가능하게 하기 위해.

제안 방법

• 표준 혼합 교차 엔트로피(MCE) 손실에 분리된 정규화 항을 도입하여, 혼합 샘플 내 각 클래스에 대한 예측 확률을 별도로 계산할 수 있도록 한다.
• 손실을 두 구성 요소로 분리: 하나는 레이블 일관성(MCE)을 위한 것이고, 다른 하나는 분류 능력 있는 특징 활성화(분리된 정규화 항)를 위한 것으로, 레이블 가중치가 낮더라도 두드러진 특징에 대해 높은 신뢰도를 부여할 수 있도록 한다.
• 훈련 중에 분리된 손실을 적용하여, 모델이 딱딱한 혼합 샘플 내의 분류 능력 있는 특징을 국소화하고 확신 있게 반응하도록 유도한다.
• 클래스 활성도 맵(CAM) 시각화를 통해 DM이 표준 MCE 손실과 달리 딱딱한 샘플의 두드러진 영역에 주목할 수 있음을 확인한다.
• 다양한 정적 미크스업 방법(Mixup, CutMix 등)에 DM을 통합하고, 최소한의 수정으로 비감독 학습에 확장한다.
• CNN 및 비전 트랜스포머 아키텍처를 사용하여 CIFAR-100, ImageNet, RSB 등 일곱 가지 벤치마크에서 DM의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 레이블 가중치가 낮지만 특정 클래스의 두드러진 특징을 지닌 딱딱한 혼합 샘플을 추가 최적화 오버헤드 없이 미크스업 훈련에서 효과적으로 활용할 수 있는가?
• RQ2 혼합 정책가 아닌 손실 함수 재고찰이 미크스업 훈련에서 더 나은 성능을 이끌어낼 수 있는가?
• RQ3 Decoupled Mixup(DM)처럼 단순하고 즉시 통합 가능한 목적 함수가 복잡한 동적 미크스업 방법보다 성능을 뛰어넘거나 동등하게 유지할 수 있는가? 추가 계산 없이.
• RQ4 분리된 정규화 항이 미크스업 훈련에서 특징의 분류 능력을 향상시키면서도 결정 경계의 부드러움을 유지하는 데 효과적인가?
• RQ5 DM이 준감독 학습으로 일반화되어 확률적 편향을 줄이고 데이터 효율성을 향상시킬 수 있는가?

주요 결과

• DeiT-Small를 사용한 CIFAR-100에서 DM은 200 에포크에 76.20%의 top-1 정확도를 기록하고 600 에포크에 79.92%까지 도달하여, 동일한 훈련 조건에서 AutoMix 및 SAMix와 같은 동적 방법을 능가한다.
• ConvNeXt-Tiny에서 DM은 200 에포크에 83.44%의 top-1 정확도를 기록하고 600 에포크에 84.49%까지 도달하여, AutoMix 및 SAMix와 같은 동적 미크스업 방법과 동등하거나 이를 초월한다. 추가 계산 비용 없이.
• 준감독 학습에서 DM은 확률적 편향을 줄이고, 분리된 정규화 항을 통해 비라벨 데이터를 효과적으로 활용함으로써 성능을 크게 향상시킨다.
• 클래스 활성도 맵(CAM) 시각화를 통해 DM이 표준 MCE 손실과 달리 딱딱한 혼합 샘플의 두드러진 특징에 주목할 수 있음을 확인한다.
• 절단 실험 결과, DM의 성능 향상은 정적 미크스업 방법과 조합했을 때 가장 두드러지며, 동적 미크스업과의 비교에서는 성능 향상이 제한적인 것으로 나타나, 동적 미크스업이 이미 더 적은 수의 딱딱한 샘플을 생성하고 있음을 시사한다.
• DM은 계산적으로 효율적이다: CIFAR-100에서 ConvNeXt-Tiny를 사용해 600 에포크 훈련을 수행할 경우, A100 GPU 한 대로 10시간이면 충분하며, AutoMix의 56~59시간 대비 뛰어난 확장성을 보인다.