[논문 리뷰] Adversarially-Trained Deep Nets Transfer Better

Francisco Utrera, Evan Kravitz외 3명|arXiv (Cornell University)|2020. 07. 11.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 24

한 줄 요약

이 논문은 자연적으로 훈련된 모델에 비해 적대적 훈련된 깊은 신경망이 새로운 도메인으로 더 효과적으로 전이됨을 보여준다. 이는 원본 도메인에서의 일반화 능력이 열 劣함에도 불구하고 그렇다. 향상은 적대적 훈련이 초기 레이어의 특징 표현을 더 자연스럽고 일반적인 이미지 구조로 편향시켜, 제한된 타겟 데이터에서도 전이 능력을 향상시키기 때문이다.

ABSTRACT

Transfer learning has emerged as a powerful methodology for adapting pre-trained deep neural networks to new domains. This process consists of taking a neural network pre-trained on a large feature-rich source dataset, freezing the early layers that encode essential generic image properties, and then fine-tuning the last few layers in order to capture specific information related to the target situation. This approach is particularly useful when only limited or weakly labelled data are available for the new task. In this work, we demonstrate that adversarially-trained models transfer better across new domains than naturally-trained models, even though it's known that these models do not generalize as well as naturally-trained models on the source domain. We show that this behavior results from a bias, introduced by the adversarial training, that pushes the learned inner layers to more natural image representations, which in turn enables better transfer.

연구 동기 및 목표

• 적대적 훈련된 모델이 원본 도메인에서 성능이 열 劣함에도 불구하고 전이 학습에서 더 잘 일반화되는 이유를 조사하는 것.
• 적대적 훈련된 네트워크에서 향상된 전이 가능성의 배경이 되는 메커니즘을 이해하는 것.
• 적대적 훈련이 초기 레이어에서 더 자연스러운 이미지 표현으로의 편향을 유도하는지 탐색하는 것.
• 제한된 레이블 데이터를 가진 하류 작업에서 적대적 훈련된 모델과 자연적으로 훈련된 모델 간의 전이 성능를 비교하는 것.

제안 방법

• 입력 노이즈에 대한 내성적 저항성을 높이기 위해 적대적 훈련을 사용해 대규모 원본 데이터셋에서 깊은 신경망을 사전 훈련한다.
• 사전 훈련된 모델의 초기 합성곱 레이어를 동결하여 학습된 일반적인 특징을 유지한다.
• 제한적 또는 약한 감독 하에 새로운 작은 타겟 데이터셋에서 끝부분 레이어만 미세 조정한다.
• 동결된 초기 레이어의 내부 표현을 분석하여 자연 이미지 통계와의 일치 정도를 평가한다.
• 여러 하류 작업에서 적대적 훈련된 모델과 자연적으로 훈련된 모델 간의 전이 성능를 비교한다.
• 활성화 통계와 특징 시각화를 사용하여 적대적 훈련이 초기 레이어에서 더 자연스러운 이미지 표현을 촉진함을 입증한다.

실험 결과

연구 질문

• RQ1 원본 도메인에서의 일반화 성능이 열 劣함에도 불구하고 적대적 훈련이 전이 학습 성능을 향상시키는가?
• RQ2 적대적 훈련이 네트워크 내부 표현에 어떤 특별한 인도적 편향을 도입하는가?
• RQ3 적대적 훈련된 모델이 학습한 특징 표현이 자연 이미지 구조 측면에서 자연적으로 훈련된 모델과 비교해 어떻게 다른가?
• RQ4 향상된 전이 가능성은 네트워크가 더 일반적이고 전이 가능한 특징을 더 잘 학습할 수 있는 능력에서 얼마나 기인하는가?
• RQ5 자연 이미지 표현으로의 편향이 적대적 훈련된 모델의 뛰어난 전이 성능를 설명할 수 있는가?

주요 결과

• 자연적으로 훈련된 모델이 원본 도메인에서 더 잘 일반화됨에도 불구하고, 적대적 훈련된 모델은 하류 작업에서 유의미하게 더 뛰어난 전이 성능를 기록한다.
• 전이 가능성 향상은 초기 레이어가 더 자연스러운 이미지 표현을 학습하도록 유도하는 적대적 훈련의 편향 때문임을 규명했다.
• 적대적 훈련된 모델의 특징 활성화는 자연적으로 훈련된 모델에 비해 에지, 텍스처 패턴과 같은 자연 이미지 통계와 더 강한 일치를 보인다.
• 자연 이미지 표현으로의 편향은 가장 동결된 초기 합성곱 레이어에서 가장 뚜렷하게 나타난다.
• 타겟 도메인에서 레이블 데이터가 제한되어 있어도, 적대적 훈련된 모델은 전이 학습 벤치마크에서 자연적으로 훈련된 모델을 일관되게 능가한다.
• 결과는 적대적 훈련이 더 일반적이고 강건한 특징 학습을 촉진함으로써 전이 가능성 향상을 도와주는 정규화 요소로 기능할 수 있음을 시사한다.