[논문 리뷰] Exploiting the Potential of Datasets: A Data-Centric Approach for Model Robustness

Yiqi Zhong, Lei Wu외 2명|arXiv (Cornell University)|2022. 03. 10.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 샘플 수를 늘리지 않고도 전이 가능한 적대적 예제와 14종류의 일반적인 손상 요소를 훈련 데이터셋에 통합하여 딥 네ural 네트워크의 강건성을 향상시키는 데이터 중심적 접근법을 제안한다. 이 방법은 적대적 입력과 손상된 입력 모두에서 모델 성능을 크게 향상시키며, 대규모 경쟁 대회에서 각각 3위와 4위를 기록했고, 변형된 데이터에서 20% 이상의 정확도 향상을 달성했다.

ABSTRACT

Robustness of deep neural networks (DNNs) to malicious perturbations is a hot topic in trustworthy AI. Existing techniques obtain robust models given fixed datasets, either by modifying model structures, or by optimizing the process of inference or training. While significant improvements have been made, the possibility of constructing a high-quality dataset for model robustness remain unexplored. Follow the campaign of data-centric AI launched by Andrew Ng, we propose a novel algorithm for dataset enhancement that works well for many existing DNN models to improve robustness. Transferable adversarial examples and 14 kinds of common corruptions are included in our optimized dataset. In the data-centric robust learning competition hosted by Alibaba Group and Tsinghua University, our algorithm came third out of more than 3000 competitors in the first stage while we ranked fourth in the second stage. Our code is available at \url{https://github.com/hncszyq/tianchi_challenge}.

연구 동기 및 목표

• 신뢰할 수 있는 AI에서 모델 강건성을 향상시키기 위한 데이터셋 엔지니어링의 잠재적 가능성을 탐색하기 위해.
• 기존 연구가 모델 중심 방어에만 초점을 맞추고 데이터셋 품질을 간과하는 격차를 메우기 위해.
• 적대적 예제와 일반적인 손상 요소에 모두 강건한 체계적인 데이터 중심 방법을 개발하기 위해.
• 샘플 수를 늘리지 않고도 데이터셋 최적화가 모델 강건성에 상당한 향상을 가져올 수 있음을 입증하기 위해.
• 수천 명의 참가자가 참여한 실제 대회 환경에서 이 방법의 타당성을 검증하기 위해.

제안 방법

• 기존 훈련 데이터셋에 일부 정제된 샘플에 대해 적대적 편향과 일반적인 손상 요소를 추가함으로써 데이터셋을 향상시킨다.
• 전이 가능한 적대적 예제는 $\epsilon=8$, $\alpha=2/255$ 조건 하에 $l_\infty$-유계 편향을 위해 300회 반복된 PGD를 사용하여 생성된다.
• 선택된 샘플에 14종류의 일반적인 손상 요소(예: 비, 눈, 노이즈)를 적용하여 실제 세계의 분포 이탈을 시뮬레이션한다.
• 청결, 적대적, 손상된 샘플의 비율을 조절하기 위해 $\alpha$를 튜닝하며, $\alpha = 0:1:4$ 비율에서 최적의 성능을 달성했다.
• 원본 데이터셋 크기(50,000개 샘플)를 유지하여 훈련 데이터 부피의 증가를 방지한다.
• 전이 가능한 적대적 예제를 생성하기 위해 ResNet50, WideResNet, DenseNet121, VGG16, MobileNetV2 등의 모델 앙상블을 사용한다.

실험 결과

연구 질문

• RQ1 샘플 수를 늘리지 않고 데이터셋을 강화함으로써 딥 네URAL 네트워크의 적대적 및 손상된 입력에 대한 강건성이 크게 향상될 수 있는가?
• RQ2 훈련 세트 내 청결, 적대적, 손상된 샘플의 분포가 복합적인 편향 조건 하에서 모델 일반화에 어떤 영향을 미치는가?
• RQ3 실제 벤치마크 환경에서 상태 기술 모델 중심 기법과 비교해 볼 때 데이터 중심 접근법이 경쟁력이 있는가?
• RQ4 고정된 데이터셋에 전이 가능한 적대적 예제와 다양한 손상 요소를 통합할 경우, 강건성이 얼마나 향상될 수 있는가?
• RQ5 간단하고 확장 가능한 데이터 증강 전략이 복합한 모델 아키텍처보다 복합 위협 상황에서 강건성 면에서 뛰어나게 작용할 수 있는가?

주요 결과

• 제안된 데이터 중심 방법은 알리바바-칭화 데이터 중심 강건 학습 경쟁의 첫 번째 라운드에서 3,691명의 참가자 중 3위를 기록했다.
• 두 번째 라운드에서는 50명의 참가자 중 4위를 기록하여 다양한 모델 아키텍처에 걸쳐 뛰어난 일반화 능력을 입증했다.
• 최적화된 데이터셋으로 훈련된 모델은 기준 모델 대비 적대적 및 손상된 샘플에서 강건성 점수를 20% 이상 향상시켰다.
• 적대적 및 손상된 서브데이터셋에서의 분류 정확도가 20个百分点 이상 상승하여, 이 방법의 효과성을 확인했다.
• 최적의 비율인 $\alpha = 0:1:4$(훈련 세트에 정제된 샘플이 없음)가 균형 잡힌 구성이나 정제 샘플 우선 구성보다 우수한 성능을 보이며, 훈련된 데이터가 분포 정보를 유용하게 담고 있음을 시사한다.
• 데이터셋 크기를 늘리지 않고도 상당한 강건성 향상을 달성함으로써, 데이터 품질을 설계함으로써 모델 신뢰성을 향상시킬 수 있음을 입증했다.