[논문 리뷰] Game-theoretic Understanding of Adversarially Learned Features.

Jie Ren, Die Zhang외 8명|arXiv (Cornell University)|2021. 03. 12.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 6

한 줄 요약

이 논문은 다중 순서 상호작용 기반의 게임 이론 프레임워크를 제안하여 딥 네ural 네트워크(DNNs)에서의 적대적 로버스트니를 분석한다. 적대적 공격이 주로 고차수 특징 상호작용을 손상시키는 반면, 적대적으로 훈련된 모델의 로버스트니는 카테고리별 저차수 상호작용에서 기인하며, 이는 특징 형상 편향과 적대적 예제 복구 가능성에 대한 새로운 통찰을 제공한다.

ABSTRACT

This paper aims to understand adversarial attacks and defense from a new perspecitve, i.e., the signal-processing behavior of DNNs. We novelly define the multi-order interaction in game theory, which satisfies six properties. With the multi-order interaction, we discover that adversarial attacks mainly affect high-order interactions to fool the DNN. Furthermore, we find that the robustness of adversarially trained DNNs comes from category-specific low-order interactions. Our findings provide more insights into and make a revision of previous understanding for the shape bias of adversarially learned features. Besides, the multi-order interaction can also explain the recoverability of adversarial examples.

연구 동기 및 목표

• 딥 네ural 네트워크에서의 적대적 공격과 방어를 신호 처리 관점에서 이해하기 위해.
• 여섯 가지 축약성 성질을 만족하는 게임 이론에서의 새로운 다중 순서 상호작용 개념을 정의하기 위해.
• 적대적 예제가 특징 상호작용을 어떻게 조작하는지, 그리고 왜 로버스트 모델이 이러한 조작에 저항하는지 조사하기 위해.
• 상호작용 기반 분석을 통해 적대적으로 훈련된 특징에서 관찰된 형상 편향을 설명하기 위해.
• 상호작용 수준의 재구성 기반으로 적대적 예제의 복구 가능성 명확히 하기 위해.

제안 방법

• 여섯 가지 축약성 성질을 만족하는 특징 상호작용 분석을 위한 새로운 게임 이론적 다중 순서 상호작용 프레임워크를 제안하기 위해.
• 입력 특징 간의 협력 게임으로 DNN 특징 표현을 모델링하여 다중 순서 상호작용을 정량화하기 위해.
• 샤플리 값과 고차수 상호작용 지수를 사용해 순서 간 특징 기여도를 분해하기 위해.
• 적대적 공격이 고차수 상호작용을 손상시키지만, 로버스트 모델에서는 저차수 상호작용을 유지함을 분석하기 위해.
• 손상된 고차수 상호작용을 재구성함으로써 적대적 예제를 복구할 수 있음을 입증하기 위해.
• 로버스트 모델에서 저차수 상호작용의 카테고리별 특성을 분석하기 위해 프레임워크를 적용하기 위해.

실험 결과

연구 질문

• RQ1 적대적 공격은 딥 네럴 네트워크 특징의 상호작용 구조에 주로 어떻게 영향을 미치는가?
• RQ2 왜 적대적으로 훈련된 모델은 향상된 로버스트니를 보이며, 저차수 상호작용은 어떤 역할을 하는가?
• RQ3 특징 상호작용 재구성으로 인해 적대적 예제를 어느 정도 복구할 수 있는가?
• RQ4 다중 순서 상호작용 프레임워크는 적대적으로 학습된 특징에서 관찰된 형상 편향을 어떻게 설명하는가?
• RQ5 DNNs에서 상호작용 순서와 모델의 로버스트니 사이의 관계는 무엇인가?

주요 결과

• 적대적 공격은 표준 DNNs에서 의사결정에 핵심적인 고차수 특징 상호작용을 주로 손상시킨다.
• 적대적으로 훈련된 모델의 로버스트니는 공격 하에서도 안정적인 카테고리별 저차수 상호작용에서 기인한다.
• 제안된 다중 순서 상호작용 프레임워크는 저차수 상호작용의 선택적 유지가 형상 편향의 원인임을 설명한다.
• 고차수 상호작용은 손상되었지만, 상호작용 분해 프레임워크를 통해 재구성 가능하므로 적대적 예제는 복구 가능하다.
• 제안된 다중 순서 상호작용 모델은 여섯 가지 축약성 성질을 만족하여 DNNs에서의 상호작용 분석에 엄밀한 기반을 제공한다.
• 프레임워크는 로버스트니가 전반적인 특징 안정성 때문이 아니라 국소적이고 카테고리별 저차수 상호작용의 유지 때문임을 드러낸다.