[논문 리뷰] Adversarial Style Augmentation for Domain Generalization

Yabin Zhang, Bin Deng외 3명|arXiv (Cornell University)|2023. 01. 30.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 Adversarial Style Augmentation (ASA)를 제안하며, 이는 미니배치 제약 조건을 초월해 최적의 특성 통계 침범(평균 및 표준편차)을 적대적으로 학습함으로써 모델의 강건성을 향상시키는 새로운 도메인 일반화 방법이다. 적대적 훈련을 통해 침범 방향과 강도를 동시에 최적화하고, 이를 플러그 앤 플레이 모듈인 AdvStyle을 통해 구현함으로써, 상태의 기준(SOTA) 성능을 달성하며, PACS에서 ResNet-50의 정확도를 단일 소스 일반화 조건에서 61.2%에서 67.1%로 향상시킨다.

ABSTRACT

It is well-known that the performance of well-trained deep neural networks may degrade significantly when they are applied to data with even slightly shifted distributions. Recent studies have shown that introducing certain perturbation on feature statistics (\eg, mean and standard deviation) during training can enhance the cross-domain generalization ability. Existing methods typically conduct such perturbation by utilizing the feature statistics within a mini-batch, limiting their representation capability. Inspired by the domain generalization objective, we introduce a novel Adversarial Style Augmentation (ASA) method, which explores broader style spaces by generating more effective statistics perturbation via adversarial training. Specifically, we first search for the most sensitive direction and intensity for statistics perturbation by maximizing the task loss. By updating the model against the adversarial statistics perturbation during training, we allow the model to explore the worst-case domain and hence improve its generalization performance. To facilitate the application of ASA, we design a simple yet effective module, namely AdvStyle, which instantiates the ASA method in a plug-and-play manner. We justify the efficacy of AdvStyle on tasks of cross-domain classification and instance retrieval. It achieves higher mean accuracy and lower performance fluctuation. Especially, our method significantly outperforms its competitors on the PACS dataset under the single source generalization setting, \eg, boosting the classification accuracy from 61.2\% to 67.1\% with a ResNet50 backbone. Our code will be available at \url{https://github.com/YBZh/AdvStyle}.

연구 동기 및 목표

• 기존 도메인 일반화 방법이 현재의 미니배치에 국한된 통계 침범을 제한함으로써 스타일 증강의 다양성이 제한되는 한계를 해결하기 위해.
• 배치 수준의 통계를 초월해 보다 효과적이고 강건한 통계 침범(평균 및 표준편차)을 학습하여 더 넓은 스타일 공간을 탐색하기 위해.
• 훈련 중에 악성 도메인 이동을 시뮬레이션하여 분류 및 인스턴스 검색과 같은 시각 작업에서의 도메인 간 일반화 성능을 향상시키기 위해.
• 기존 딥 러닝 모델에 쉽게 통합할 수 있도록 단순하고 종단 간 훈련이 가능한 모듈(AdvStyle)을 설계하기 위해.

제안 방법

• 이 방법은 특성 통계(평균 및 표준편차)를 학습 가능한 파라미터로 모델링하고, 적대적 훈련을 통해 최적화하는 Adversarial Style Augmentation (ASA)를 도입한다.
• 두 플레이어 최적화를 수행한다: 모델은 악성 최악의 통계 침범에 대비해 작업 손실을 최소화하도록 훈련되며, 동시에 침범 파라미터는 작업 손실을 최대화하도록 업데이트된다.
• 침범는 배치의 평균과 표준편차를 중심으로 하는 가우시안 분포에서 샘플링하여 생성되며, 표준편차는 학습 가능한 파라미터로 간주된다.
• AdvStyle 모듈은 기울기 반전 레이어(GRL)를 통해 이 메커니즘을 신경망에 통합하여 종단 간 훈련과 플러그 앤 플레이 배포를 가능하게 한다.
• 침범 방향과 강도를 함께 최적화함으로써, 훈련 중에 다양한 및 도전적인 스타일 이동을 탐색할 수 있다.
• 이 방법은 미분 가능하게 구현되어 침범 생성 과정을 통해 역전파가 가능하다.

실험 결과

연구 질문

• RQ1 특성 통계 침범의 적대적 학습이 미니배치 통계 제약을 초월해 도메인 일반화를 향상시킬 수 있는가?
• RQ2 침범 방향을 탐색하는 것이 침범 강도 조정만으로는 더 효과적인가?
• RQ3 다양한 도메인에서 정확도와 강건성 측면에서 기존 스타일 증강 방법과 비교해 본다면, 제안된 AdvStyle 모듈은 어떻게 성능을 내는가?
• RQ4 딥 네트워크 아키텍처의 다양한 레이어에 AdvStyle을 삽입할 경우 일반화 성능에 어떤 영향을 미치는가?
• RQ5 특히 침범 강도(λ)에 따라 다양한 하이퍼파rameter 설정에서 이 방법의 안정성은 어떠한가?

주요 결과

• 제안된 AdvStyle 모듈은 일반화 성능을 크게 향상시켜, 단일 소스 일반화 조건에서 PACS 데이터셋에서 67.1%의 정확도를 달성하며, 기준 ResNet-50 대비 5.9%p의 절대적 향상을 이룬다.
• AdvStyle는 가장 가까운 베이스라인인 DSU(Li 등, 2022)보다 PACS에서 9.8%p 높은 성능을 기록하여, 스타일 공간 탐색 능력에서의 열등함을 입증한다.
• 절단 실험 결과, ResNet 본딩에 여러 위치에 AdvStyle을 삽입할 경우 성능 향상이 일관되게 관찰되었으며, 분석된 6개 레이어 전부에 적용했을 때 최고의 성능를 기록했다.
• 절단 변형인 AdvStyle-Direction-Only(64.9%)는 AdvStyle-Intensity-Only(61.6%)를 능가하며, 침범 방향을 학습하는 것이 강도 조정만으로는 더 효과적임을 시사한다.
• λ 값의 범위(0.5에서 20)에 걸쳐 높은 안정성을 유지하였으며, λ = 5일 때 일관되게 뛰어난 성능를 기록하여 하이퍼파ram터 선택에 대한 강건성을 확인했다.
• t-SNE 및 A-distance를 통한 시각화 결과, AdvStyle이 더 큰 도메인 정렬과 분포 분산 감소를 이끌어내어, 효과적인 스타일 공간 확장을 가능하게 함을 검증했다.