[논문 리뷰] Where Does the Robustness Come from? A Study of the Transformation-based Ensemble Defence

Chang Liao, Yao Cheng외 2명|arXiv (Cornell University)|2020. 09. 27.

Adversarial Robustness in Machine Learning참고 문헌 12인용 수 3

한 줄 요약

이 논문은 이미지 분류를 위한 변환 기반 앙상블 방어의 내성에 대해 연구하며, 강건성의 원인을 평가하기 위해 두 가지 적응형 공격—이동성 기반 적응형 공격(TAA)과 편향 집합 공격(PAA)—를 제안한다. 연구 결과, 강건성의 주요 원인은 앙상블 다양성보다는 불가역적 변환에 있으며, 하위 모델 수를 늘려도 추가적인 강건성 향상이 없다는 것을 발견하였다.

ABSTRACT

This paper aims to provide a thorough study on the effectiveness of the transformation-based ensemble defence for image classification and its reasons. It has been empirically shown that they can enhance the robustness against evasion attacks, while there is little analysis on the reasons. In particular, it is not clear whether the robustness improvement is a result of transformation or ensemble. In this paper, we design two adaptive attacks to better evaluate the transformation-based ensemble defence. We conduct experiments to show that 1) the transferability of adversarial examples exists among the models trained on data records after different reversible transformations; 2) the robustness gained through transformation-based ensemble is limited; 3) this limited robustness is mainly from the irreversible transformations rather than the ensemble of a number of models; and 4) blindly increasing the number of sub-models in a transformation-based ensemble does not bring extra robustness gain.

연구 동기 및 목표

• 변환 기반 앙상블 방어의 강건성의 근본 원인을 악성 공격에 대비하여 조사하기 위해.
• 강건성이 앙상블 메커니즘에서 비롯되는지, 아니면 변환 자체에서 비롯되는지 확인하기 위해.
• 악성 공격 강건성을 향상시키는 데 있어 가역적 및 비가역적 변환의 효과를 평가하기 위해.
• 이러한 앙상블에서 하위 모델 수를 늘일 경우 강건성이 향상되는지 평가하기 위해.
• 변환 기반 앙상블의 고유한 구조에 맞춰진 적응형 공격 전략을 개발하기 위해.

제안 방법

• 가역적 변환 앙상블에서 가장 취약한('가장 약한') 하위 모델을 식별하기 위해 이동성 기반 적응형 공격(TAA)을 설계하기 위해.
• 다양한 집합 전략을 사용하여 여러 하위 모델 간 악성 편향을 조합하기 위해 편향 집합 공격(PAA)을 설계하기 위해.
• 하이브리드 앙상블에서 비가역적 하위 모델 비율을 변화시켜 강건성의 변동성을 측정하기 위한 통제 실험을 수행하기 위해.
• 이동성 분석을 활용하여 공격 전략을 유도하고, 하위 모델 간 기울기 정보 및 모델 유사도를 활용하기 위해.
• CIFAR-10 및 Fashion-MNIST 데이터셋에서 적응형 공격에 대해 가역적 및 비가역적 변환 기반 앙상블을 평가하기 위해.
• 표준 악성 공격 기반(예: PGD)을 적용하고, 적응형 공격 결과와 비교함으로써 강건성의 근본 원인을 분리하기 위해.

실험 결과

연구 질문

• RQ1 변환 기반 앙상블 방어의 강건성의 주요 원인은 앙상블 다양성인지, 변환 유형인지 무엇인가요?
• RQ2 다른 가역적 변환을 사용해 훈련된 모델 간에 악성 예시의 이동성이 어느 정도 존재합니까?
• RQ3 비가역적 변환이 포함될 경우 앙상블의 전체 강건성에 어떤 영향을 미칩니까?
• RQ4 변환 기반 앙상블에서 하위 모델 수를 늘릴 경우 강건성이 향상되는가요?
• RQ5 적응형 공격는 변환 기반 앙상블을 효과적으로 공격할 수 있으며, 만약 가능하다면 어떤 조건에서 그러한 공격가능성이 나타납니까?

주요 결과

• 변환 기반 앙상블의 강건성은 제한적이며 하위 모델 수 증가에 따라 확장되지 않는다.
• 강건성의 대부분은 앙상블 메커니즘 자체보다는 비가역적 변환에서 기인한다.
• 다른 가역적 변환을 사용해 훈련된 모델 간에 악성 예시의 이동성이 존재하여 효과적인 공격가능성을 제공한다.
• 편향 집합 공격(PAA)은 개별 편향을 조합하여 가역적 변환 기반 앙상블을 회피하는 악성 예시를 성공적으로 생성한다.
• 가역적 및 비가역적 하위 모델를 혼합한 하이브리드 앙상블은 비가역적 하위 모델의 수가 늘어날수록 강건성이 주로 향상됨을 보여준다.
• Fashion-MNIST에서의 실험 결과는 CIFAR-10에서 관찰된 결과와 일치하여 결론의 일반화 가능성을 뒷받침한다.