[논문 리뷰] On the Need for Topology-Aware Generative Models for Manifold-Based Defenses

Uyeong Jang, Susmit Jha외 1명|arXiv (Cornell University)|2019. 09. 07.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 6

한 줄 요약

이 논문은 적대적 예제에 대한 다양한 다양체 기반 방어에서 위상 구조를 고려한 생성 모델이 필수적임을 주장한다. 이는 이론적으로도 실험적으로도 위상 구조를 간과한 모델이 위상 불일치를 유도하여 방어의 강건성을 떨어뜨릴 수 있음을 보여주며, 위상 구조를 고려한 모델을 사용할 경우 Invert-and-Classify와 같은 방어에서 투영 정확도와 일관성이 크게 향상됨을 보여준다.

ABSTRACT

Machine-learning (ML) algorithms or models, especially deep neural networks (DNNs), have shown significant promise in several areas. However, researchers have recently demonstrated that ML algorithms, especially DNNs, are vulnerable to adversarial examples (slightly perturbed samples that cause misclassification). The existence of adversarial examples has hindered the deployment of ML algorithms in safety-critical sectors, such as security. Several defenses for adversarial examples exist in the literature. One of the important classes of defenses are manifold-based defenses, where a sample is ``pulled back" into the data manifold before classifying. These defenses rely on the assumption that data lie in a manifold of a lower dimension than the input space. These defenses use a generative model to approximate the input distribution. In this paper, we investigate the following question: do the generative models used in manifold-based defenses need to be topology-aware? We suggest the answer is yes, and we provide theoretical and empirical evidence to support our claim.

연구 동기 및 목표

• 다양체 기반 방어에서 사용되는 생성 모델이 기저 데이터 다양체의 위상 구조를 인지하고 있어야 하는지 조사하기.
• 위상 구조를 간과한 생성 모델이 방어 성능을 떨어뜨릴 수 있는 위상 불일치를 어떻게 유도할 수 있는지 규명하기.
• Invert-and-Classify (INC) 방어 기법에서 위상 인지의 영향을 강건성과 정확도 측면에서 평가하기.
• 클래스 인지 학습이 생성 모델에서 위상 분리 구현에 한계를 보이는 이유 탐색하기.
• 적대적 방어 프레임워크에서 위상 인지 생성 모델 설계에 대한 이론적 및 실험적 근거 제공하기.

제안 방법

• 미분 위상수학을 활용한 이론적 분석을 통해 위상 구조를 고려하지 않은 생성 모델이 진짜 데이터 다양체와 모델이 유도하는 분포 사이에 위상 불일치를 유도할 수 있음을 보여주기.
• 역행 가능한 생성 모델을 동역학 시스템으로 모델링하여 잠재 공간 변환의 다양체 구조에 미치는 영향 분석하기.
• 위상 아티팩트를 방지하기 위해 하위다양체(예: 각 가우시안 성분별)별 최적화를 수행하는 수정된 Invert-and-Classify (INC) 방어 설계하기.
• 클래스 인지 학습을 활용해 생성 모델이 별개의 다양체를 학습하도록 유도하기는 하지만, 복잡한 위상 구성에서는 한계를 보임.
• 잠재 분포 및 생성된 분포의 초수준 집합을 활용해 생성 모델 출력의 위상 아티팩트를 시각화하고 분석하기.
• 합성 데이터셋(예: 두 개의 반달, 나선, 원)을 대상으로 위상 구조를 간과한 모델과 위상 구조를 고려한 모델 간의 투영 오차 분포 비교를 통한 경험적 평가 수행하기.

실험 결과

연구 질문

• RQ1 생성 모델이 위상 구조를 고려하지 않으면 다양체 기반 방어의 효과성이 떨어지는가?
• RQ2 데이터 다양체의 위상 구조를 유지하지 못하는 생성 모델은 적대적 취약성을 초래할 수 있는가?
• RQ3 클래스 인지 학습이 생성 모델에서 위상 분리에 얼마나 기여하는가?
• RQ4 위상 불일치는 생성 모델의 잠재 공간과 데이터 공간에 어떻게 나타나는가?
• RQ5 위상 인지가 Invert-and-Classify와 같은 투영 기반 방어의 일관성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 위상 구조를 간과한 생성 모델은 모델이 유도하는 분포가 진짜 데이터 다양체의 진짜 위상 구조를 반영하지 못하는 위상 불일치를 유도할 수 있다.
• 경험적 결과에 따르면, 위상 구조를 고려한 생성 모델은 두 개의 반달과 나선과 같은 합성 데이터셋에서 Invert-and-Classify 방어의 평균 투영 오차를 최대 30%까지 감소시킨다.
• 위상 구조를 고려한 모델에서는 투영 오차의 표준편차가 크게 감소하여 다양한 적대적 예제에 대해 더 일관되고 신뢰할 수 있는 성능을 보인다.
• 클래스 인지 학습을 적용한 후에도 생성 모델은 여전히 데이터 공간에서 연결된 초수준 집합(예: 두 개의 연결된 성분이 아닌 하나의 연결된 성분)을 생성할 수 있어 위상 구조 유지 실패를 보인다.
• 위상 인지 학습이 다양체 분리를 보장하지 못하는 것은 잠재 성분의 정렬 방식과 관련이 있다. 수평 정렬은 더 나은 분리를 가능하게 하지만, 수직 정렬은 아티팩트를 유도한다.
• 역행 가능한 생성 모델을 동역학 시스템으로 간주할 경우, 잠재 공간이 적절히 정렬되지 않으면 얽힌 다양체 간 전이 시 위상 구조를 유지하기 어려운 것으로 나타났다.