[논문 리뷰] Puzzle Mix: Exploiting Saliency and Local Statistics for Optimal Mixup

Jang-Hyun Kim, Wonho Choo외 1명|arXiv (Cornell University)|2020. 09. 15.

Adversarial Robustness in Machine Learning인용 수 72

한 줄 요약

Puzzle Mix는 주목도와 지역 통_STATS를 활용하여 혼합 마스크를 주목도 할인된 최적 운송 목표로 최적화하는 믹스업 방법을 도입하여 일반화 및 강건성을 뛰어난 성능으로 달성합니다.

ABSTRACT

While deep neural networks achieve great performance on fitting the training distribution, the learned networks are prone to overfitting and are susceptible to adversarial attacks. In this regard, a number of mixup based augmentation methods have been recently proposed. However, these approaches mainly focus on creating previously unseen virtual examples and can sometimes provide misleading supervisory signal to the network. To this end, we propose Puzzle Mix, a mixup method for explicitly utilizing the saliency information and the underlying statistics of the natural examples. This leads to an interesting optimization problem alternating between the multi-label objective for optimal mixing mask and saliency discounted optimal transport objective. Our experiments show Puzzle Mix achieves the state of the art generalization and the adversarial robustness results compared to other mixup methods on CIFAR-100, Tiny-ImageNet, and ImageNet datasets. The source code is available at https://github.com/snu-mllab/PuzzleMix.

연구 동기 및 목표

• 주목도 정보를 활용하여 표준 믹업을 넘어 향상된 일반화를 유도한다.
• 자연 샘플의 로컬 통계를 활용해 간단한 보간을 넘어 mixup을 안내한다.
• 혼합 마스크에 대한 다중 레이블 목표와 주목도 할인된 최적 운송 목표 사이를 교대하도록 최적화 문제를 공식화한다.

제안 방법

• 주목도 정보를 활용하여 믹스업 과정을 안내한다.
• 믹스업을 혼합 마스크에 대한 다중 레이블 목표를 갖는 최적화 문제로 구성한다.
• 자연 통계를 반영하기 위해 주목도 할인된 최적 운송 목표를 적용한다.
• 믹스업 마스크와 운송 목표 사이의 최적화를 교대한다.
• 연결된 저장소에서 소스 코드 구현을 제공한다.

실험 결과

연구 질문

• RQ1 주목도 가이드가 있는 혼합 마스크가 전통적 mixup 방법을 넘어 일반화를 개선할 수 있는가?
• RQ2 최적 운송을 통한 로컬 통계의 도입이 표준 벤치마크에서 강건성 및 성능을 향상시키는가?
• RQ3 Puzzle Mix는 CIFAR-100, Tiny-ImageNet, ImageNet에서 다른 mixup 방법에 비해 어떻게 수행하는가?
• RQ4 제안된 교대 최적화 스킴이 학습 역학에 미치는 영향은 무엇인가?

주요 결과

• CIFAR-100, Tiny-ImageNet, ImageNet에서 다른 mixup 방법들에 비해 최첨단 일반화를 달성한다.
• 기저선 mixup 방식에 비해 적대적 강건성이 향상됨을 보인다.
• 주목도 정보와 로컬 통계를 효과적으로 활용하여 mixup를 안내하는 것을 보여준다.