[논문 리뷰] Does Adversarial Transferability Indicate Knowledge Transferability

Kaizhao Liang, Jacky Y. Zhang외 2명|arXiv (Cornell University)|2021. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 7

한 줄 요약

이 논문은 적대적 전이 가능성(adversarial transferability)이 딥 네ural 네트워크에서 지식 전이 가능성(knowledge transferability)을 나타내는지 조사하며, 특히 선형 조합(affine composition)을 포함한 충분한 조건을 규명하는 이론적 프레임워크를 제안한다. 다양한 데이터셋에서의 실험 결과는 이론이 실무에서 유효하다는 강력한 정확한 상관관계를 보여준다.

ABSTRACT

Despite the immense success that deep neural networks (DNNs) have achieved, \emph{adversarial examples}, which are perturbed inputs that aim to mislead DNNs to make mistakes, have recently led to great concerns. On the other hand, adversarial examples exhibit interesting phenomena, such as \emph{adversarial transferability}. DNNs also exhibit knowledge transfer, which is critical to improving learning efficiency and learning in domains that lack high-quality training data. To uncover the fundamental connections between these phenomena, we investigate and give an affirmative answer to the question: \emph{does adversarial transferability indicate knowledge transferability?} We theoretically analyze the relationship between adversarial transferability and knowledge transferability, and outline easily checkable sufficient conditions that identify when adversarial transferability indicates knowledge transferability. In particular, we show that composition with an affine function is sufficient to reduce the difference between two models when they possess high adversarial transferability. Furthermore, we provide empirical evaluation for different transfer learning scenarios on diverse datasets, showing a strong positive correlation between the adversarial transferability and knowledge transferability, thus illustrating that our theoretical insights are predictive of practice.

연구 동기 및 목표

• 딥 네ural 네트워크에서 적대적 전이 가능성과 지식 전이 가능성 간의 근본적인 관계를 조사하는 것.
• 높은 적대적 전이 가능성은 높은 지식 전이 가능성의 지표가 될 수 있는지 판단하는 것.
• 적대적 전이 가능성에서 지식 전이 가능성으로 이르는 이론적으로 타당하고 쉽게 검증 가능한 충분조건을 도출하는 것.
• 다양한 전이 학습 시나리오와 데이터셋에서 이론적 통찰을 실험적으로 검증하는 것.

제안 방법

• 수학적 모델링을 활용한 적대적 전이 가능성과 지식 전이 가능성 간의 관계에 대한 이론적 분석.
• 높은 적대적 전이 가능성에서 모델 간 차이를 줄이기 위한 충분조건으로 선형 변환 조합(affine transformation composition)을 규명하는 것.
• 높은 적대적 전이 가능성에서 높은 지식 전이 가능성으로 이르는 조건을 유도하는 것.
• 다양한 데이터셋과 전이 학습 설정에서 적대적 전이 가능성과 지식 전이 가능성 간 상관관계를 테스트하기 위한 실험적 평가.
• 다양한 모델 및 데이터 구성에서 성능을 평가하기 위해 표준 딥 러닝 벤치마크와 전이 학습 프로토콜을 사용하는 것.

실험 결과

연구 질문

• RQ1 두 모델 간 높은 적대적 전이 가능성은 높은 지식 전이 가능성과 관련이 있는가?
• RQ2 적대적 전이 가능성에서 지식 전이 가능성으로 이르는 데 필요한 이론적 조건은 무엇인가?
• RQ3 선형 변환 조합은 높은 적대적 전이 가능성의 모델 간 차이를 줄일 수 있는가?
• RQ4 다양한 데이터셋과 전이 시나리오에서 적대적 전이 가능성과 지식 전이 가능성 간의 경험적 상관관계는 얼마나 강한가?

주요 결과

• 다양한 데이터셋과 전이 학습 시나리오에서 적대적 전이 가능성과 지식 전이 가능성 간 강력한 정적 상관관계가 존재한다.
• 적대적 전이 가능성 수준이 높을 경우, 선형 함수 조합은 모델 간 차이를 줄이는 데 충분한 조건이다.
• 논문에서 도출한 이론적 조건은 경험적 평가를 통해 실제 성능 예측에 유용함을 입증하였다.
• 제시된 충분조건 하에서 높은 적대적 전이 가능성은 높은 지식 전이 가능성과 신뢰성 있게 관련된다.
• 연구 결과는 적대적 전이 가능성이 모델 설계 및 훈련 과정에서 지식 전이 가능성 평가의 실용적 대체 지표가 될 수 있음을 시사한다.