[논문 리뷰] Robust and Accurate Object Detection via Adversarial Learning

Xiangning Chen, Cihang Xie외 4명|arXiv (Cornell University)|2021. 03. 23.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 5

한 줄 요약

이 논문은 피지컬 테스트 중 분류 및 위치 지정 브랜치에서 더 강력한 적대적 예제를 동적으로 선택함으로써, 객체 검출을 위한 모델 종속적 데이터 증강 방법인 Det-AdvProp을 제안한다. 검출기와 함께 진화하고 단일 보조 배치 정규화를 사용함으로써, SOTA 기준 EfficientDet 모델의 COCO에서 +1.1 mAP, 손상된 이미지에서 +3.8 mAP, 도메인 이동 벤치마크에서 +1.3 mAP 향상되며, AutoAugment와 같은 모델 무관 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Data augmentation has become a de facto component for training high-performance deep image classifiers, but its potential is under-explored for object detection. Noting that most state-of-the-art object detectors benefit from fine-tuning a pre-trained classifier, we first study how the classifiers' gains from various data augmentations transfer to object detection. The results are discouraging; the gains diminish after fine-tuning in terms of either accuracy or robustness. This work instead augments the fine-tuning stage for object detectors by exploring adversarial examples, which can be viewed as a model-dependent data augmentation. Our method dynamically selects the stronger adversarial images sourced from a detector's classification and localization branches and evolves with the detector to ensure the augmentation policy stays current and relevant. This model-dependent augmentation generalizes to different object detectors better than AutoAugment, a model-agnostic augmentation policy searched based on one particular detector. Our approach boosts the performance of state-of-the-art EfficientDets by +1.1 mAP on the COCO object detection benchmark. It also improves the detectors' robustness against natural distortions by +3.8 mAP and against domain shift by +1.3 mAP. Models are available at https://github.com/google/automl/tree/master/efficientdet/Det-AdvProp.md

연구 동기 및 목표

• 이미지넷 사전 훈련에서 고급 데이터 증강의 성능 향상이 객체 검출의 피지컬 테스트 후로 전이되지 않는 이유를 조사하는 것.
• AutoAugment와 같은 모델 무관 데이터 증강 정책이 객체 검출에서 일반화 능력이 제한된다는 문제를 해결하는 것.
• 피지컬 테스트 중 검출기와 함께 진화하는 모델 종속적, 적응형 데이터 증강 전략을 개발하는 것.
• 자연적 손상 및 도메인 이동 조건 하에서 객체 검출기의 정확도와 강건성을 향상시키는 것.
• 검출 헤드에서 유도된 적대적 예제가 피지컬 테스트에 더 효과적일 수 있음을 입증하는 것.

제안 방법

• Det-AdvProp은 훈련 중 분류 손실($L_{cls}$) 또는 위치 지정 손실($L_{loc}$)을 공격하여 적대적 예제를 생성한다.
• 각 훈련 단계에서 $L_{cls}$와 $L_{loc}$의 적대적 기울기 간 국소 비교를 수행하여 더 강력하고 파괴적인 예제를 선택한다.
• 선택된 적대적 예제에 단일 보조 배치 정규화 레이어를 적용하여 청소된 이미지 통계를 유지하고 과도한 정규화를 방지한다.
• 두 적대적 예제를 동시에 적용하는 것을 피함으로써, 상충하는 기울기로 인한 성능 저하를 방지한다.
• 고정된 편집 예산($\epsilon=1$)을 사용한 비대상 적대적 공격을 통해 강건하고 작업 관련 편집을 생성한다.
• 백본 아키텍처를 수정하지 않고, 특히 EfficientDet 및 RetinaNet에 대해 피지컬 테스트 단계에 이 방법을 통합한다.

실험 결과

연구 질문

• RQ1 왜 이미지넷 사전 훈련에서 고급 데이터 증강의 성능 향상은 객체 검출의 피지컬 테스트 후에 감소하는가?
• RQ2 적대적 예제는 객체 검출기 피지컬 테스트를 위한 효과적인 모델 종속적 데이터 증강이 될 수 있는가?
• RQ3 분류 및 위치 지정 브랜치에서 적대적 예제를 동적으로 선택하는 것과 둘 다 또는 둘 다 사용하지 않는 것의 성능 비교는 어떻게 되는가?
• RQ4 AutoAugment와 같은 모델 무관 정책보다 Det-AdvProp과 같은 모델 종속 증강 전략이 객체 검출에서 더 잘 일반화되는가?
• RQ5 Det-AdvProp은 자연적 이미지 손상 및 도메인 이동에 대해 어느 정도 강건성을 향상시킬 수 있는가?

주요 결과

• Det-AdvProp은 청소된 COCO에서 +0.8 mAP, COCO-C에서 +2.0 mAP, rPC에서 +3.2 mAP 향상으로 EfficientDet-D3의 mAP를 향상시켜 모든 아블레이션 변형보다 뛰어나다.
• EfficientDet-D5에서는 청소된 COCO에서 +0.5 mAP, COCO-C에서 +2.3 mAP, rPC에서 +3.9 mAP 향상으로 스케일에 관계없이 일관된 성능 향상을 보였다.
• ResNet50 기반 RetinaNet에서는 COCO에서 mAP를 35.6에서 36.1로, COCO-C에서 17.8에서 19.7로 향상시켜 EfficientDet 외의 모델에서도 효과적임을 확인했다.
• 세 개의 배치 정규화 레이어를 사용하는 두 개의 적대적 예제를 모두 적용한 변형은 가장 높은 강건성을 보였지만, 청소된 데이터에서 과적합이 발생하여 정규화가 지나치게 강한 것으로 나타났다.
• Det-AdvProp은 모든 설정에서 AutoAugment를 항상 앞서며, 정적이고 모델 무관 정책보다 진화하는 모델 종속 증강 전략이 더 효과적임을 입증했다.
• 분류 손실을 공격할 경우 손상된 이미지에서 더 강력한 향상이 이루어져, 분류 헤드의 성능 저하가 손상 조건에서의 강건성 저하의 핵심 요인임을 시사한다.