[논문 리뷰] On Visual Hallmarks of Robustness to Adversarial Malware

Alex Huang, Abdullah Al-Dujaili외 2명|arXiv (Cornell University)|2018. 05. 09.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 6

한 줄 요약

이 논문은 악성코드 검출기의 강건성 해석을 위해 적대적 손실 경관과 자기조직화 맵(SOM)이라는 시각적 분석 도구를 도입한다. 평탄도가 손실 경관에서만 평가될 경우 강건한 일반화를 나타내지 않음을 보여주며, 반대로 적대적 변형이 결정 경계에 가까이 있을수록 모델의 강건성과 강한 상관관계를 보임을 밝힌다. 더 강건한 모델들(예: rFGSMᵏ)은 적대적 샘플을 결정 경계에서 더 멀리 떨어져 배치한다.

ABSTRACT

A central challenge of adversarial learning is to interpret the resulting hardened model. In this contribution, we ask how robust generalization can be visually discerned and whether a concise view of the interactions between a hardened decision map and input samples is possible. We first provide a means of visually comparing a hardened model's loss behavior with respect to the adversarial variants generated during training versus loss behavior with respect to adversarial variants generated from other sources. This allows us to confirm that the association of observed flatness of a loss landscape with generalization that is seen with naturally trained models extends to adversarially hardened models and robust generalization. To complement these means of interpreting model parameter robustness we also use self-organizing maps to provide a visual means of superimposing adversarial and natural variants on a model's decision space, thus allowing the model's global robustness to be comprehensively examined.

연구 동기 및 목표

• 악성코드 검출에서 적대적으로 강화된 신경망 모델을 해석하기 위한 시각적 도구 개발.
• 손실 경관의 기하학적 특성(예: 평탄도)이 적대적으로 훈련된 모델에서 강건한 일반화와 상관관계가 있는지 평가.
• 다양한 훈련 방법에서 유도된 적대적 변형이 입력 공간에서 결정 경계에 대해 어떻게 분포되어 있는지 분석.
• 강건성 평가에 있어 매개변수 공간(손실 경관)과 입력 공간(SOM)의 시각화 간 해석 가능성 비교.
• 다양한 원천에서 생성된 적대적 변형이 있을 경우 손실 경관의 평탄도가 강건성을 암시하는지 평가.

제안 방법

• Li 등(2017)의 방법을 활용해 적대적으로 훈련된 모델의 손실 경관을 시각화하며, 훈련 과정에서 생성된 적대적 변형에 집중한다.
• 자기조직화 맵(SOM)을 사용해 적대적 및 자연 샘플을 2차원 결정 공간에 투영하고, 국소적 관계를 유지하며 색상으로 클래스 신뢰도를 표현한다.
• 동일한 훈련 방법에서 유도된 적대적 변형과 네 가지 훈련 방법에서 유도된 모든 적대적 변형의 유합을 사용해 손실 경관을 비교한다.
• 다양한 내부 최대화 방법(rFGSMᵏ, BGAᵏ, dFGSMᵏ, BCAᵏ)을 사용해 네 가지 다른 적대적으로 강화된 모델을 훈련한다.
• SOM 공간에서 모델의 결정 경계로부터의 거리를 측정함으로써 결정 경계에의 근접도를 분석한다.
• 손실 경관 기하학적 시각화 향상을 위해 필터별 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 적대적으로 강화된 모델의 손실 경관에서 평탄도가 강건한 일반화와 상관관계가 있는가?
• RQ2 다양한 훈련 방법에서 유도된 적대적 변형이 입력 공간에서 결정 경계에 대해 어떻게 분포되어 있는가?
• RQ3 자기조직화 맵이 적대적으로 훈련된 모델에서 전반적인 강건성 패턴을 효과적으로 드러내는가?
• RQ4 자연적으로 훈련된 모델에서 관찰된 손실 경관 평탄도와 일반화 간의 연관성이 적대적으로 강화된 모델에도 적용되는가?
• RQ5 모델의 강건성은 손실 경관 기하학적 특성보다는 결정 경계에 대한 적대적 변형의 공간 분포가 더 잘 예측하는가?

주요 결과

• 동일한 훈련 방법에서 유도된 적대적 변형만으로 평가할 경우 손실 경관의 평탄도는 강건성을 예측하지 못한다. 예를 들어, BCAᵏ 모델은 평탄도를 보이지만 일반화 능력이 열악하여 이는 부족한 강화를 시사한다.
• 모든 방법에서 유도된 적대적 변형의 유합을 사용해 평가할 경우 손실 경관의 평탄도는 강건성과 상관관계를 보이며, 이는 더 넓은 적대적 커버리지가 의미 있는 해석을 위해 필수적임을 시사한다.
• 가장 강건한 rFGSMᵏ 모델은 SOM 공간에서 결정 경계에서 멀리 떨어져 적대적 변형을 배치하는 반면, 덜 강건한 모델들(예: BCAᵏ)은 높은 신뢰도로 양성 클래스 영역 내부나 그 근처에 적대적 변형을 배치한다.
• 결정 경계의 위치가 적대적 변형에 대해 상대적으로 더 강건한 예측 변수이며, SOM 시각화에서 일관된 공간적 분리가 관찰됨으로써 이를 뒷받침한다.
• 자연 모델(Natural model)의 결정 지ap은 높은 취약성을 보이며, 특히 모든 적대적 변형의 유합을 평가할 경우 대부분의 적대적 변형이 높은 신뢰도로 양성 클래스 영역에 위치한다.
• BCAᵏ 모델의 결정 지도는 자연 모델과 거의 동일하며, 적대적 훈련으로 인한 개선이 거의 없음을 시사하며, 적대적 변형들이 양성 영역의 결정 경계 근처에 고밀도로 분포되어 있다.