[논문 리뷰] Adversarial Feature Augmentation and Normalization for Visual Recognition

Tianlong Chen, Yu Cheng외 5명|arXiv (Cornell University)|2021. 03. 22.

Adversarial Robustness in Machine Learning참고 문헌 73인용 수 10

한 줄 요약

이 논문은 시각 인식에서 일반화 성능을 향상시키기 위해 중간 특징 임bedding에 다중 강도의 적대적 편향을 적용하고, 적대적 특징의 배치 통계를 사용해 재정규화하는 새로운 적대적 특징 증강 및 정규화 방법인 A-FAN을 제안한다. 이 방법은 픽셀 수준의 적대적 훈련에 비해 최소한의 계산 부담으로 분류, 검출, 세그멘테이션 작업 전반에서 일관된 정확도 향상을 달성한다.

ABSTRACT

Recent advances in computer vision take advantage of adversarial data augmentation to ameliorate the generalization ability of classification models. Here, we present an effective and efficient alternative that advocates adversarial augmentation on intermediate feature embeddings, instead of relying on computationally-expensive pixel-level perturbations. We propose Adversarial Feature Augmentation and Normalization (A-FAN), which (i) first augments visual recognition models with adversarial features that integrate flexible scales of perturbation strengths, (ii) then extracts adversarial feature statistics from batch normalization, and re-injects them into clean features through feature normalization. We validate the proposed approach across diverse visual recognition tasks with representative backbone networks, including ResNets and EfficientNets for classification, Faster-RCNN for detection, and Deeplab V3+ for segmentation. Extensive experiments show that A-FAN yields consistent generalization improvement over strong baselines across various datasets for classification, detection and segmentation tasks, such as CIFAR-10, CIFAR-100, ImageNet, Pascal VOC2007, Pascal VOC2012, COCO2017, and Cityspaces. Comprehensive ablation studies and detailed analyses also demonstrate that adding perturbations to specific modules and layers of classification/detection/segmentation backbones yields optimal performance. Codes and pre-trained models will be made available at: https://github.com/VITA-Group/CV_A-FAN.

연구 동기 및 목표

• 시각 인식에서 픽셀 수준의 적대적 데이터 증강의 높은 계산 비용을 해결하기 위해.
• 청정 데이터 성능을 떨어뜨리지 않고 모델의 일반화 성능을 향상시키기 위해.
• 적대적 훈련이 이미지 분류를 넘어서 객체 검출 및 세그멘테이션에 효과적으로 적용될 수 있는지 탐색하기 위해.
• 입력 수준의 적대적 증강에 비해 더 효율적인 대안을 개발하기 위해 중간 특징 표현에서 작동하는 방법을 개발하기 위해.
• 다양한 백본 아키텍처에서 적대적 특징 증강의 최적의 위치와 편향 강도를 조사하기 위해.

제안 방법

• A-FAN은 중간 특징 임베딩에 대해 일단의 프로젝션 기반 경사 하강(One-step Projected Gradient Descent, PGD) 방법을 사용해 적대적 특징 편향을 생성한다.
• 인터폴레이션을 통해 약한 것에서 강한 것까지 다양한 강도의 편향 스펙트럼을 생성함으로써 다중 척도 정규화를 가능하게 한다.
• 편향된 특징에 적용된 배치 정규화 레이어에서 적대적 특징의 통계(평균 및 분산)를 추출한다.
• 이러한 통계는 정규화 연산을 통해 청정 특징에 다시 삽입되어, 암묵적이고 레이블 유지형 데이터 증강을 효과적으로 수행한다.
• 이 방법은 플러그 앤 플레이 방식으로 백본 네트워크와 작업별 모듈(예: 분류기, ROI 헤드, 디코더)에 모두 적용 가능하다.
• 정규화 단계는 청정 특징와 적대적으로 정규화된 특징을 혼합함으로써 결정 경계를 부드럽게 한다.

실험 결과

연구 질문

• RQ1 적대적 특징 증강이 이미지 분류를 넘어서 객체 검출 및 세그멘테이션과 같은 다양한 시각 인식 작업에서 일반화 성능 향상에 기여할 수 있는가?
• RQ2 픽셀 수준의 편향에 비해 계산 비용을 줄이면서도 특징 공간에서의 적대적 증강으로 유사하거나 더 높은 성능 향상을 달성할 수 있는가?
• RQ3 다양한 모델에서 적대적 특징 편향을 적용할 최적의 위치(레이어/블록)와 강도(스텝 크기, PGD 스텝 수)는 무엇인가?
• RQ4 일반화 향상 측면에서 적대적 특징 정규화는 무작위 노이즈 삽입보다 어떻게 다를 수 있는가?
• RQ5 제안된 방법은 청정 데이터 성능 향상과 함께 정확도를 유지하면서도 강건성을 유지하는가?

주요 결과

• CIFAR-10(ResNet-56s)에서 A-FAN은 절대 정확도 향상 1.23%를 달성하였으며, 무작위 노이즈 삽입보다 1.46% 높은 성능을 기록했다.
• COCO2017에서 객체 검출에 적용했을 경우, A-FAN은 백본과 ROI 헤드에 적용했을 때 AP를 0.72% 향상시켰다.
• Pascal VOC2012에서 세그멘테이션 작업에 적용했을 경우, A-FAN은 백본과 디코더 모듈에 모두 적용했을 때 mIOU를 0.51% 향상시켰다.
• 백본의 마지막 블록(예: B3 또는 B4)에 A-FAN을 적용할 경우 최고의 성능를 기록했으며, 다중 블록에 적용할 경우 일반화 성능이 떨어졌다.
• 최적의 편향 강도는 ResNet-18에 대해 PGD-5, α = 1.0/255, Faster R-CNN에 대해 PGD-1, α = 0.3/255, DeepLab V3+에 대해 PGD-1, α = 0.4/255로 확인되었다.
• 과도한 편향 강도(예: PGD-10, α = 4.0/255)는 성능 저하를 초래하여 효과적인 정규화를 위한 좁은 최적 범위가 있음을 시사한다.