[논문 리뷰] Adversarial Training Helps Transfer Learning via Better Representations

Zhun Deng, Linjun Zhang외 3명|arXiv (Cornell University)|2021. 06. 18.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 4

한 줄 요약

이 논문은 적대적 훈련이 소스 데이터에서 수행될 경우 더 나은 표현을 학습함으로써 전이 학습 성능을 향상시킨다는 이론적 분석을 제공한다. 이는 타겟 작업에서 더 정확한 예측기로 이어진다. 또한, 준지도 학습과 적대적 훈련은 상호보완적이며, 함께 사용할 경우 ImageNet 및 CIFAR 벤치마크에서 뛰어난 전이 성능을 달성한다.

ABSTRACT

Transfer learning aims to leverage models pre-trained on source data to efficiently adapt to target setting, where only limited data are available for model fine-tuning. Recent works empirically demonstrate that adversarial training in the source data can improve the ability of models to transfer to new domains. However, why this happens is not known. In this paper, we provide a theoretical model to rigorously analyze how adversarial training helps transfer learning. We show that adversarial training in the source data generates provably better representations, so fine-tuning on top of this representation leads to a more accurate predictor of the target data. We further demonstrate both theoretically and empirically that semi-supervised learning in the source data can also improve transfer learning by similarly improving the representation. Moreover, performing adversarial training on top of semi-supervised learning can further improve transferability, suggesting that the two approaches have complementary benefits on representations. We support our theories with experiments on popular data sets and deep learning architectures.

연구 동기 및 목표

• 적대적 훈련이 소스 작업 정확도가 감소할 수 있음에도 불구하고 전이 학습 성능을 향상시키는 이유를 이론적으로 설명하는 것.
• 가짜 레이블을 통한 준지도 학습이 전이 학습을 위한 표현을 향상시킬 수 있는지 조사하는 것.
• 소스 도메인에서 적대적 훈련과 가짜 레이블링을 결합했을 때의 상호보완적 이점이 표현의 전이 가능성 향상에 기여하는지 검토하는 것.
• 이전의 회귀 설정 기반 전이 학습 분석을 분류 설정으로 일반화하여, 여기서 적대적 훈련과 가짜 레이블링이 더 널리 적용되는 환경에 맞추는 것.
• 딥 러닝에서 전이 학습 성능 향상에 기여하는 요인을 이해하기 위한 실용적인 이론적 프레임워크를 제공하는 것.

제안 방법

• KL 발산과 패킹 수치를 사용하여 일반화 오차를 경계하는 방식으로, 적대적 훈련이 표현 품질에 미치는 영향을 이론적으로 분석하는 것.
• 정규 직교 행렬의 η-패킹에 대해 sinθ 거리와 log M ≍ rd log(1/η)를 사용하여 표현 품질의 경계를 유도하는 것.
• 정보 이론 도구(예: KL 발산, 상호정보량)를 적용하여 표현의 강건성과 일반화 능력을 정량화하는 것.
• ResNet-18을 사용한 ImageNet 및 CIFAR-10/100에서의 실험적 검증으로, 최종 레이어만 미세조정하는 방식.
• ℓ₂ 노이즈(ε=1)를 사용한 적대적 훈련과 10%의 ImageNet 데이터로 훈련된 모델을 기반으로 한 가짜 레이블링 구현.
• 가짜 레이블 양을 0%에서 900%까지 체계적으로 변형하여 전이 정확도에 미치는 영향을 평가하는 아블레이션 실험.

실험 결과

연구 질문

• RQ1 왜 소스 도메인에서의 적대적 훈련은 소스 작업 정확도가 저하될 수 있음에도 불구하고 전이 학습 성능을 향상시키는가?
• RQ2 가짜 레이블링을 통한 준지도 학습도 전이 학습을 위한 표현을 향상시킬 수 있는가?
• RQ3 적대적 훈련과 가짜 레이블링은 전이 학습에서 표현 품질 향상에 대해 상호보완적인 효과를 가지는가?
• RQ4 분류 설정에서 표현 품질에 대한 이론적 분석은 이전의 회귀 기반 프레임워크와 어떻게 비교되는가?
• RQ5 적대적 훈련과 가짜 레이블링을 결합했을 때의 정량적 영향은 여러 데이터셋에서 전이 성능에 어떻게 작용하는가?

주요 결과

• ImageNet에서의 적대적 훈련은 CIFAR-10에서의 전이 정확도를 표준 훈련 대비 4.3%p 향상시켜 17.3%에서 21.2%로 개선했다.
• 훈련 세트 크기의 900%에 해당하는 가짜 레이블링을 적용했을 때, 적대적 훈련과 병행하면 Pets 데이터셋의 전이 정확도가 43.2%에서 59.6%로 상승했다.
• Flowers 데이터셋에서는 적대적 훈련만으로도 전이 정확도가 60.7%에서 66.9%로 향상되었고, 가짜 레이블링만으로도 66.5%로 상승했다.
• 적대적 훈련과 가짜 레이블링의 조합은 Flowers 데이터셋에서 70.1%의 정확도를 기록하여, 개별적으로 적용했을 때보다 높은 성능을 달성했다.
• 적대적 훈련으로 인해 소스 작업 정확도가 감소하더라도 전이 성능은 향상되었으며, 이는 전이 성공의 핵심이 소스 정확도가 아니라 표현 품질임을 확인한다.
• 이론적 분석을 통해 적대적 훈련이 KL 발산 제어를 개선함으로써 일반화 오차 경계를 감소시켜 더 나은 표현을 이끌어낸다는 것이 확인되었다.