[논문 리뷰] Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity

Jang-Hyun Kim, Wonho Choo외 2명|arXiv (Cornell University)|2021. 02. 05.

Advanced Neural Network Applications참고 문헌 37인용 수 16

한 줄 요약

Co-Mixup는 개별 혼합 예제의 중요도와 배치 내 초모듈러러티 다각성의 최대화를 통해 혼합 데이터 구축을 공동 최적화하는 중요도 유도, 다양성 정규화된 배치 혼합 방법을 제안한다. 이는 새로운 부분모듈러-초모듈러리티 이산 최적화 문제를 정식화하고, 효율적인 반복 알고리즘을 도입하여 CIFAR-100, Tiny-ImageNet, ImageNet 및 Google Commands 데이터셋에서 일반화, 校정, 약한 감독 기반 국소화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While deep neural networks show great performance on fitting to the training distribution, improving the networks' generalization performance to the test distribution and robustness to the sensitivity to input perturbations still remain as a challenge. Although a number of mixup based augmentation strategies have been proposed to partially address them, it remains unclear as to how to best utilize the supervisory signal within each input data for mixup from the optimization perspective. We propose a new perspective on batch mixup and formulate the optimal construction of a batch of mixup data maximizing the data saliency measure of each individual mixup data and encouraging the supermodular diversity among the constructed mixup data. This leads to a novel discrete optimization problem minimizing the difference between submodular functions. We also propose an efficient modular approximation based iterative submodular minimization algorithm for efficient mixup computation per each minibatch suitable for minibatch based neural network training. Our experiments show the proposed method achieves the state of the art generalization, calibration, and weakly supervised localization results compared to other mixup methods. The source code is available at https://github.com/snu-mllab/Co-Mixup.

연구 동기 및 목표

• 기존 혼합 방법이 훈련 데이터의 중요한 영역에서 유용한 감독 신호를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 높은 중요도와 다양성을 동시에 확보하기 위해 혼합 데이터 구축을 공동 최적화함으로써 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 개별 혼합 예제의 중요도를 최대화하면서도 집단적 다양성을 장려하는 원칙적인 이산 최적화 문제를 정식화하기 위해.
• 엔드 투 엔드 딥 러닝 훈련에 적합한 부분모듈러리티 최소화를 위한 효율적이고 미니배치 호환 알고리즘을 개발하기 위해.

제안 방법

• 중요도와 다양성을 균형 있게 유지하기 위해 부분모듈러 함수와 초모듈러 함수 간의 차이를 최소화하는 새로운 이산 최적화 문제를 제안한다.
• 최적화의 타당성과 효율성을 확보하기 위해 초모듈러 항목에 대해 모듈러 근사법을 도입한다.
• 각 미니배치별 최적의 혼합 조합을 계산하기 위해 반복적인 부분모듈러리티 최소화 알고리즘을 활용한다.
• 사전 훈련된 네트워크에서 생성된 중요도 맵을 활용해 입력 데이터 전반에 걸쳐 중요한 영역을 식별하고 우선순위를 매긴다.
• 공간적 및 의미적 일관성을 유지하면서 여러 입력에서 중요한 영역을 조합하여 혼합 예제를 구성한다.
• 모델의 일반화 및 校정 능력을 향상시키기 위해 소프트 레이블을 사용해 결과 혼합 데이터를 훈련에 적용한다.

실험 결과

연구 질문

• RQ1 여러 입력 데이터에서 중요한 영역을 최적으로 조합하여 고품질 혼합 예제를 생성하는 방법은 무엇인가?
• RQ2 개별 혼합 예제의 중요도를 최대화하면서도 배치 전체의 다양성을 확보하는 데 최적의 트레이드오프는 무엇인가?
• RQ3 이산 부분모듈러-초모듈러 최적화 프레임워크는 기존 히وري스틱 혼합 전략을 뛰어넘어 혼합 성능을 향상시킬 수 있는가?
• RQ4 중요 영역 간의 상호 배열 정보를 통합할 경우 모델의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 약한 감독 기반 객체 국소화 및 배경 오염에 대한 강건성에서 기존 혼합 기반 모델을 초월하는가?

주요 결과

• ImageNet에서 Co-Mixup는 Top-1 오차율 20.45%를 기록하여 다음으로 우수한 베이스라인(Puzzle Mix)보다 0.74个百分点 높은 성능을 보였다.
• CIFAR-100에서 Co-Mixup는 네 개의 입력을 사용해 Top-1 오차율을 19.87%로 낮추었으며, Input Mixup(23.12%) 및 CutMix(22.20%)를 포함한 모든 베이스라인을 크게 앞서갔다.
• 약한 감독 기반 객체 국소화에서 Co-Mixup는 PASCAL VOC 2012에서 54.3% mAP를 달성하여 다음으로 좋은 방법보다 2.1个百分点 높았다.
• 배경 오염에 대한 강건성 측면에서 Co-Mixup는 무작위 교체 기준으로 Top-1 오차율을 2.86% 감소시키고, 가우시안 노이즈 기준으로는 3.33% 감소시켰다.
• 제거 실험 결과, 중요도 또는 다양성 제약 없이 다수의 입력을 혼합할 경우 성능이 악화됨을 확인하여 제안된 최적화 프레임워크의 必要성과 타당성을 입증했다.
• 제안된 모듈러 근사법과 반복적인 부분모듈러리티 최소화 알고리즘은 미니배치 훈련에 적합한 효율적인 계산을 달성하여 표준 딥 러닝 파이프라인에서 실용적인 구현이 가능함을 보였다.