[논문 리뷰] Preventing Manifold Intrusion with Locality: Local Mixup

Raphaël Baena, Lucas Drumetz외 1명|arXiv (Cornell University)|2022. 01. 12.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 지역성에 기반한 가중치를 적용하여 믹스업 가상 샘플의 일반화 성능을 향상시키는 데이터 증강 기법인 Local Mixup를 제안한다. 이는 입력 샘플 간의 거리에 따라 믹스업 가상 샘플의 기여도를 조정함으로써 다양체 침범을 감소시킨다. CIFAR-10, Fashion-MNIST, SVHN에서 기존의 일반 훈련 및 표준 믹스업보다 높은 테스트 정확도를 달성하며, 유일한 지역성 하이퍼파라미터를 통해 유연한 편향-분산 트레이드오프를 가능하게 한다.

ABSTRACT

Mixup is a data-dependent regularization technique that consists in linearly interpolating input samples and associated outputs. It has been shown to improve accuracy when used to train on standard machine learning datasets. However, authors have pointed out that Mixup can produce out-of-distribution virtual samples and even contradictions in the augmented training set, potentially resulting in adversarial effects. In this paper, we introduce Local Mixup in which distant input samples are weighted down when computing the loss. In constrained settings we demonstrate that Local Mixup can create a trade-off between bias and variance, with the extreme cases reducing to vanilla training and classical Mixup. Using standardized computer vision benchmarks , we also show that Local Mixup can improve test accuracy.

연구 동기 및 목표

• 멀리 떨어진 샘플 간의 믹스업에서 발생하는 분포 외부 또는 모순적인 가상 샘플로 인한 다양체 침범 문제를 해결하기 위해.
• 훈련 중 편향-분산 트레이드오프를 제어할 수 있는 지역성 인식 정규화 방법을 도입하기 위해.
• 믹스업에 국소적 구조를 통합함으로써 표준 컴퓨터 비전 데이터셋에서 일반화 성능 향상을 입증하기 위해.
• 단일 하이퍼파라미터를 통해 일반 훈련과 고전적 믹스업 사이의 연속적인 보간을 제공하기 위해.

제안 방법

• Local Mixup는 입력 쌍 간의 유클리드 거리에 따라 가중치를 적용하는 거리 의존적 가중치 기반 방식을 도입한다.
• 거리가 먼 샘플 쌍의 손실 기여도를 감소시키기 위해 α로 매개변수화된 부드러운 감소 지수 함수를 사용한다.
• 가상 샘플은 선형 보간을 통해 생성되며, x̃ = λxi + (1−λ)xj 및 ỹ = λyi + (1−λ)yj 이지만, ||xi − xj||에 따라 가중치에 의존하여 손실에만 기여한다.
• 이 방법은 α → 0일 때 일반 훈련에서, α → ∞일 때 표준 믹스업으로의 연속적인 전이를 가능하게 하며, 중간 값에서는 편향과 분산을 균형 잡는다.
• 표준 아키텍처(ResNet18, DenseNet, LeNet-5)를 사용하여 CIFAR-10, Fashion-MNIST, SVHN에서 평가하며, 최적의 테스트 오차를 달성하기 위해 하이퍼파라미터를 선택한다.

실험 결과

연구 질문

• RQ1 믹스업에 지역성 인식 가중치를 적용하면 다양체 침범을 줄이고 일반화 성능을 향상시킬 수 있는가?
• RQ2 Local Mixup는 저차원 및 고차원 설정 모두에서 편향-분산 트레이드오프에 어떤 영향을 미치는가?
• RQ3 Local Mixup는 표준 시각 벤치마크에서 표준 믹스업 및 일반 훈련을 일관되게 능가하는가?
• RQ4 지역성 하이퍼파라미터 α는 모델 성능과 리프시츠 연속성에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10에서 α = 3e−3로 설정한 Local Mixup는 테스트 오차율 4.03% ± 0.03을 기록하여 일반 ResNet18(4.98% ± 0.03)과 표준 믹스업(4.13% ± 0.03)을 모두 능가했다.
• Fashion-MNIST에서 α = 1e−3로 설정한 Local Mixup는 5.97% ± 0.2 오차를 기록하여 기준 모델(6.20% ± 0.2)과 믹스업(6.36% ± 0.16)을 모두 능가했다.
• SVHN에서 α = 5e−2로 설정한 Local Mixup는 8.20% ± 0.13 오차를 기록하여 일반 LeNet(10.01% ± 0.15)과 믹스업(8.31% ± 0.14)을 모두 능가했다.
• 이 방법은 일반 훈련과 고전적 믹스업 사이의 연속적인 보간을 제공하며, 극단적인 경우는 각각 증강 없음과 완전한 믹스업에 해당한다.
• 실험 결과 Local Mixup는 훈련된 모델의 리프시츠 상한선을 조정할 수 있음을 보여주며, 이는 더 높은 강건성을 의미한다.
• K-최근접 이웃 또는 임계값 기반 그래프와 같은 대체 그래프 구조는 Local Mixup를 능가하지 못했으며, 이는 지수 감쇠 가중치가 지역성 제어에 효과적임을 시사한다.