[논문 리뷰] Robustness properties of Facebook's ResNeXt WSL models

A. Emin Orhan|arXiv (Cornell University)|2019. 07. 17.

Web Data Mining and Analysis참고 문헌 16인용 수 23

한 줄 요약

이 논문은 10억 개의 약한 감독을 받은 인스타그램 이미지로 사전 훈련하고 ImageNet으로 미세조정한 페이스북의 ResNeXt 모델의 강건성을 평가한다. 명시적인 적대적 훈련 없이도 이 모델들은 ImageNet-C, ImageNet-P, ImageNet-A 벤치마크에서 최고 성능을 기록하며, 오염 및 자연적 적대적 예제에 대해 사상 초유의 강건성을 보이며, 반면 반복적 적대적 공격에는 여전히 취약하고 강한 질감 편향을 유지한다.

ABSTRACT

We investigate the robustness properties of ResNeXt class image recognition models trained with billion scale weakly supervised data (ResNeXt WSL models). These models, recently made public by Facebook AI, were trained with ~1B images from Instagram and fine-tuned on ImageNet. We show that these models display an unprecedented degree of robustness against common image corruptions and perturbations, as measured by the ImageNet-C and ImageNet-P benchmarks. They also achieve substantially improved accuracies on the recently introduced "natural adversarial examples" benchmark (ImageNet-A). The largest of the released models, in particular, achieves state-of-the-art results on ImageNet-C, ImageNet-P, and ImageNet-A by a large margin. The gains on ImageNet-C, ImageNet-P, and ImageNet-A far outpace the gains on ImageNet validation accuracy, suggesting the former as more useful benchmarks to measure further progress in image recognition. Remarkably, the ResNeXt WSL models even achieve a limited degree of adversarial robustness against state-of-the-art white-box attacks (10-step PGD attacks). However, in contrast to adversarially trained models, the robustness of the ResNeXt WSL models rapidly declines with the number of PGD steps, suggesting that these models do not achieve genuine adversarial robustness. Visualization of the learned features also confirms this conclusion. Finally, we show that although the ResNeXt WSL models are more shape-biased than comparable ImageNet-trained models in a shape-texture cue conflict experiment, they still remain much more texture-biased than humans, suggesting that they share some of the underlying characteristics of ImageNet-trained models that make this benchmark challenging.

연구 동기 및 목표

• 10억 개의 약한 감독을 받은 이미지로 훈련하면 ResNeXt 모델의 일반적인 이미지 오염 및 왜곡에 대한 강건성이 향상되는지 조사하기.
• ImageNet-A 벤치마크에서 모델의 성능을 평가하여 자연적 적대적 예제에 대한 분포 외 일반화 능력을 측정하기.
• 특히 반복적 PGD 공격에 대한 모델의 적대적 강건성을 평가하기.
• 대규모 약한 감독 훈련이 기존 ImageNet으로 훈련된 모델에서 관찰되는 강한 질감 편향을 줄이는지 분석하기.
• 형태-질감 충돌 실험을 통해 WSL 모델과 ImageNet으로 훈련된 모델, 인간 인지 능력 간의 형태 및 질감 편향을 비교하기.

제안 방법

• 1개의 ImageNet으로 훈련된 기준 모델과 4개의 WSL 모델(약 10억 개의 인스타그램 이미지로 노이즈 있는 레이블을 사용해 사전 훈련하고 ImageNet으로 미세조정)을 평가.
• ImageNet-C(15종의 오염 유형, 5단계의 심각도)를 사용해 평균 오염 오차(mCE)로 강건성을 측정하고, AlexNet 대비 상대적 mCE를 계산.
• 자연적 왜곡을 위한 벤치마크인 ImageNet-P에서 상위 1 정확도와 신뢰도 캘리브레이션 지표를 사용해 성능 평가.
• ImageNet 검증 이미지에 대해 10단계 PGD 공격을 적용하여 적대적 강건성을 테스트하고, 정상 및 적대적 정확도 측정.
• 형태-질감 충돌 실험을 수행해 형태 편향 점수를 계산하고, WSL 모델과 ImageNet으로 훈련된 모델, 인간을 비교.
• 특징 맵과 주의 맵을 시각화하여 인도크티브 편향 분석을 수행하며, 특히 형태 대비 질량 감도에 중점을 둠.

실험 결과

연구 질문

• RQ1 약 10억 개의 약한 감독 이미지로 훈련하면 표준 ImageNet 훈련 대비 일반적인 이미지 오염에 대한 강건성이 유의미하게 향상되는가?
• RQ2 WSL 모델은 표준 모델이 어려워하는 자연적 적대적 예제(ImageNet-A)에 대해 어느 정도 일반화되는가?
• RQ3 대규모 약한 감독 훈련이 최첨단 백박스 공격에 대한 어느 정도의 적대적 강건성을 제공하는가?
• RQ4 WSL 모델은 기존 ImageNet으로 훈련된 모델에서 관찰되는 강한 질감 편향을 줄이는가, 특히 형태-질감 충돌 상황에서?
• RQ5 WSL 모델의 인도크티브 편향은 인간 인지 능력과 비교해 형태와 질량에 대한 의존성에서 어떻게 다른가?

주요 결과

• 가장 큰 WSL 모델(resnext101_32x48d_wsl)은 ImageNet-A에서 상위 1 정확도 61.0%를 기록했으며, ImageNet으로 훈련된 기준 모델(10.2%)에 비해 뚜렷한 향상이 있었다.
• 동일한 모델은 ImageNet-C에서 상대적 mCE 0.38을 기록하며 기존 모델을 크게 앞서는 최고 성능을 기록했다.
• ImageNet-P에서 가장 큰 WSL 모델은 상위 1 정확도 80.2%를 기록했으며, RMS-CE는 17.6으로 낮고 AURRA는 82.4로 높아 강력한 캘리브레이션을 보였다.
• 강건성 향상에도 불구하고 WSL 모델은 적대적 강건성이 제한적이었으며, 10단계 PGD 공격에서 정상 정확도가 85.4%에서 22.1%로 급격히 하락했다.
• 가장 큰 WSL 모델은 형태 편향 점수 42.8%를 기록했으며, ImageNet으로 훈련된 모델(25.9%)보다 높았지만 인간 성능(95.9%)에 비해 여전히 낮았다.
• 특징 시각화 결과, 오염 및 자연적 적대적 예제에 대한 강건성 향상에도 불구하고 모델은 인간보다 여전히 질량 편향이 더 강하다는 것이 확인되었다.